L’ancienne église Saint-Pierre, démolie en 1898 et reconstruite en 1982, se situe au fond du cloître (14e s.) de la collégiale. Ce cadre historique exceptionnel accueille le plus important ensemble de sarcophages monolithiques mérovingiens et carolingiens de Suisse. On peut aussi admirer quelques remarquables éléments d’architecture et de sculpture provenant d’anciennes constructions de Saint-Ursanne.