Sen dúbida o castelo dos condes de Ribadavia xogou un papel decisivo na historia de Galicia pois foi unha das súas maiores fortalezas medievais. O castelo representa aínda con gallardía, a pesar do paso dos séculos, unha parte fundamental da historia da vila. Levantado sobre a anterior igrexa e torre de San Xes, como lembra a necrópole que se inclúe no conxunto, datada entre os séculos IX e XII, o castelo construíuse no século XV como símbolo do poder dos Sarmiento, señores de Ribadavia.
Desde o miradoiro da cheminea pódese ver ao sur a desembocadura do río Avia no Miño, ao oeste, na parte superior, o magnífico conxunto monumental de San Domingos dos séculos XIII- XV- XIX, e ao norte unha panorámica da vila co amplo val do Avia.
Coa última restauración levada a cabo, o castelo abriu novos espazos que ensinan a organización interna, os diferentes niveis de construción para defensa e gozo que a fortaleza posuía, destacando os restos da antiga torre de San Xes, o depósito de auga ou estanque, as adegas e restos da horta e xardín.
O escudo dos trece roeles, repartido por toda a poboación, é o mellor testemuño do vínculo secular entre os señores de Ribadavia e a vila, o seu símbolo maior deixa de ser o castelo para partir do século XVII, cando a casa se traslda ao palacio da Praza Maior.
