Se cree que Lara de los Infantes fue fundada en el año 902. Su fortaleza ya existía en tiempos de Fernán González, convirtiéndose en un hito fundamental para la historia del territorio castellano. Dicho personaje fue nombrado conde de Castilla en el año 932, y, a partir de ese momento, logró articular institucional y políticamente un vasto territorio que incluyó las provincias de Burgos, Vizcaya, y parte de Álava, Guipúzcoa, Cantabria, La Rioja, Palencia y Soria. También cabe señalar su arrojo guerrero contra los musulmanes, en especial, contra Abderramán III. Este castillo estuvo en manos de la prestigiosa casa de los Lara. Las constantes disputas entre la realeza y los nobles durante el siglo XIII provocaron que esta construcción estuviera en algunos momentos en manos de la corona y en otros en manos de esta familia. En el siglo XV, los Cartagena pasaron a detentar la alcaidía de Lara, pero con la llegada de los Reyes Católicos, este cargo recayó en los corregidores de Burgos, cuyo concejo ostentaba el señorío sobre la villa de Lara desde 1255. A principios del siglo XVI, las noticias que se tienen acerca del castillo indican que éste ya se encontraba en ruinas.

La fortaleza, en estado de evidente ruina, se alza en un extremo del denominado Picón de Lara, elemento distintivo sobre la comarca de Tierras de Lara. En dicho emplazamiento todavía quedan restos de la cerca asentada directamente sobre la roca; tras ella, se puede apreciar el foso. El único paramento conservado pertenece, probablemente, al del oeste de la torre del homenaje, construida con granito y cal forrados con excelente sillarejo. Al norte se aprecian restos de una construcción abovedada de apariencia muy posterior, realizada en piedra y ladrillo.

El castillo de Lara de los Infantes experimentó diversas reparaciones a lo largo de los siglos. Gracias a las diferentes noticias sobre estas intervenciones, es posible conocer algunos datos sobre su aspecto en el pasado. La fortaleza estaba compuesta por seis torres, más la del homenaje, que contaba con cuatro pisos. Asimismo, existía un puente desde las murallas exteriores a la puerta de la torre. A finales del siglo XVI, y gracias a un informe elaborado por el maestro Pedro de Castañeda, se sabe que el lugar estaba en un estado ruinoso, que requería de una inmediata reparación.