Situado detrás de la catedral, en el límite entre la zona fundada por los romanos y la edificada durante la Edad Media, el palacio D'Avalos se erige como un gran bloque de piedra claro y cuadrado. Se cree que el edificio fue construido por el señor de la guerra y de Vasto, Giacomo Caldora, a principios del siglo XV.
Son pocos los rastros que quedan del aspecto original. Entre estos, han resistido al desgaste del paso del tiempo el sistema estructural, con el gran patio central, y algunas características visibles desde el exterior, incluidos un ajimez y los restos de la portada de la época de los Durazzo, que atestiguan la elegancia de los aparatos arquitectónicos y decorativos.
En 1496, la propiedad pasó a los Guevara, que probablemente ampliaron la construcción hacia el mar, antes de que su dominio pasara a los D'Avalos en 1573. La señora Isabella Gonzaga, hija del duque de Mantua, emprendió trabajos de consolidación y reconstrucción después de la muerte de su consorte, los cuales no se completaron hasta principios del siglo XVII.
La época dorada del palacio tuvo lugar durante el siglo XVIII, cuando los nuevos propietarios, miembros de la familia Lante della Rovere, renovaron las estancias y establecieron una pequeña, pero animada corte. Con la invasión francesa, el palacio comenzó a decaer y, durante el siglo XIX, muchas estancias fueron demolidas o utilizadas para diversos usos. A partir de 1970, comenzó un proceso gradual de recuperación.
Hoy en día, el palacio D'Avalos alberga las colecciones de arte y arqueología de la ciudad. En la pinacoteca de las alas este y sur de la primera planta, se pueden encontrar obras de Donnini, Moccioli, Michetti, Brill y Palizzi.
La colección arqueológica, compuesta por cinco salas, exhibe, además, hallazgos que van desde la Edad del Hierro hasta la Alta Edad Media y que demuestran el desarrollo del área habitada por los frentanos y de la ciudad de Histonium (la antigua Vasto). Cuenta también con terracotas votivas de los santuarios de Villalfonsina y Punta Penna, una colección de bronces, otra de monedas, retratos de la «gens» Julio-Claudia, sarcófagos, ánforas, restos del anfiteatro y de los acueductos, de las cisternas y de un complejo termal con mosaicos, lucernas, ladrillos marcados y un busto de mujer.
Finalmente, en la sala dedicada a la antigüedad tardía y la Alta Edad Media, se exhiben epígrafes, monedas y un tabernáculo de una iglesia de Vasto del siglo VII.