A 1.081 metros de altitud se alza el castillo de Castrovido. Consta de un cuadrilátero de lados desiguales, debido a su adaptación al terreno. En la actualidad, sólo se conservan algunos trozos de lienzos. Por los restos se sabe que constó de sótano, tres plantas y algunas almenas. Los vanos son muy escasos. Sólo se conserva completa una ventana de arco de medio punto al sureste, bajo la cual hay una banda de sillares que evidencia una fase de reconstrucción hecha hacia el siglo XVI.

Las esquinas y el enmarque de los vanos son de sillarejo pero el resto está realizado en mampostería. La fortaleza ocupaba una extensión mucho mayor que la actual. Los restos demuestran que existió una cerca que bordeó toda la cima del cerro.

El castillo perteneció al mayorazgo de Pedro Fernández de Velasco, por lo que se cree que fue construido en la primera mitad del siglo XV. Sin embargo, ya se menciona como “Casa de Castro Vidio” un siglo antes, en el mayorazgo fundado por Juan de Velasco.