Data del siglo XII, construido sobre el monte Viso a 119m. sobre el nivel del mar, dominando el valle del rio Verdugo. Su situación permitia controlar las comunicaciones del Norte al Sur de la provincia y cuenta con la ventaja de estar escondido de las invasiones realizadas por mar.
Este castillo alcanzó su máximo esplendor en el siglo XV, con Pedro Alvarez de Sotomayor, llegó a ser el epicentro de la actividad política del Sur de Galicia. En 1870 los marqueses de Armijo, convierten el castillo en residencia palaciega de verano, siendo su cambio mas destacado la construción de la neogotica GALERIA DE DAMAS.También sustituyeron los campos de maíz existentes, por un gran parque y jardín
El castillo es una mezcla variada de técnicas constructivas, que prueban las numerosas reconstrucciones necesarias, en el perfeccionamiento de la fortificación..Esta defendido por una muralla con su Torre del Homenaje de casi 150m cuadrados de planta y 15 m. de altura y su galería neogotica que da al patio de armas cerrado por un doble muro. Adosada a la Torre se encuentra el palacio que se extiende hacia el norte, hasta una segunda torre levantada en el Siglo XV. La puertas de entrada está protegida por una torre y en la entrada tienen un puente levadizo.
En 1982 la Diputacón Provincial de Pontevedra, encarga la restauración del castillo, que termina 5 años después logrando combinar la fortaleza militar medieval con la de palacio decimonónico medieval.
Lo que más destaca de este castillo son sus 25 hectáreas de jardín, con el agua que corre por sus tierras. Por eso cuenta con estanques y fuentes que marcan los principales paseos. Acoge un bosque y una extensión con variedades de viñedos, manzanales, frutales, camelias, rosales y castañales de 800 años de antiguedad. Tiene el más importante jardín botánico de Galicia, con mas de 100 variedades de camelias, arboles de los 5 continenetes, tambíén se encuentra la secuoya mas alta de Galicia, eucaliptos de gran tamaño, acacia negra, cipres de Monterrey y una gran variedadad de arboles y plantas de muchos sitios.
Es un lugar idilico para celebrar bodas, actos sociales o simplemente para pasar el día .Las visitas al castillo son en invierno de martes a domingo de 11 a 13 horas y de 17 a19 horas en verano de 11 a 14 y de 17 a 21 horas, los lunes cerrado.