El complejo monumental de la colegiata de San Orso es la obra maestra arquitectónica de la Aosta medieval. Asomado a un pequeño espacio abierto, reorganizado por Giorgio di Challant entre 1490 y 1510, el complejo se compone de tres edificios: la colegiata, el claustro y el priorato, construidos en diferentes épocas pero en armonía entre sí. Aislado pero dominante, el campanario románico (de 1131) de 44 metros de altura, con tríforas y cuadríforas, era originalmente una estructura defensiva incluida en una muralla: fue construido en parte con grandes rocas cuadradas recuperadas de las murallas romanas. Las excavaciones arqueológicas realizadas entre 1976 y 1999 han puesto de manifiesto la presencia en el área de la iglesia de una vasta necrópolis extraurbana donde, a principios del siglo V, surgió un complejo paleocristiano del que formaba parte la iglesia de San Lorenzo, de una única nave y con ábside semicircular. Reconstruida y ampliada en el siglo IX, se le añadió un campanario, cuyos restos aún se pueden ver en la fachada actual de la iglesia. La planta actual de la colegiata, dedicada a san Pedro y más tarde también a san Orso, se debe al obispo Anselmo, presente en Aosta entre 994 y 1026: tiene tres naves con cripta, ábsides semicirculares y cubierta de cerchas. A finales del siglo XV, con el priorato de Giorgio di Challant, se unificaron la fachada y la portada, dominada por el altísimo frontón puntiagudo.
El interior es gótico del siglo XV con bellas bóvedas de crucería, mientras que bajo la cubierta se conservan restos de la decoración original: un ciclo fragmentado de frescos de principios del siglo XI. A los lados del presbiterio se puede admirar un coro de madera tallada del siglo XV, mientras que las cinco vidrieras del ábside central son de principios del siglo XVI, realizadas por un taller de la localidad. En la zona del coro se puede ver un mosaico en el suelo, probablemente del siglo XII, en el que se representa a Sansón matando al león. La cripta románica, bajo el coro, consta de cinco pequeñas naves.
A la derecha de la colegiata se accede al espectacular claustro, con preciosos capiteles que suponen una verdadera obra maestra de la escultura románica: se representan historias del Antiguo y el Nuevo Testamento, historias de santos, episodios inspirados en la legendaria vida de san Orso, temas profanos e incluso imágenes de hombres y animales. Del claustro primitivo, construido a partir de 1133, quedan 40 de los 52 capiteles de mármol de Aymavilles, más tarde revestido de pintura negra, tal vez para simbolizar la necesidad de cultivar la penitencia. El claustro se ha desmontado y vuelto a montar más de una vez, con la consiguiente alteración de la disposición de los capiteles y las figuras.
A la derecha del claustro, el priorato presenta tres cuerpos cada uno con cinco arcos, abiertos por elegantes ventanas cruzadas, con preciosas decoraciones de terracota y dominados por una torre octogonal. Fue construido a partir de 1468 por orden de Giorgio di Challant, inspirado en los modelos de la arquitectura francesa; sin embargo, las decoraciones de terracota son de gusto piamontés y lombardo. La capilla está enriquecida con frescos del siglo XV relativos a episodios de la vida de san Jorge.