Este lugar aparece mencionado muy tempranamente con el nombre de “Acetores”, formando parte de la merindad de Santo Domingo de Silos. Su nombre actual, Torrecitores, no aparecerá hasta el siglo XVIII, probablemente para no confundirle con el pueblo de Citores del Páramo. En 1461, el concejo de Burgos acordó constituir una milicia al mando de Pedro de Cartagena y otros regidores para apoderarse de “las casas fuertes de Villagutierre, Citores y otras del distrito” en las que se refugiaban ladrones y caciques.

La torre primitiva, que ocupa el núcleo central de la fortificación, fue construida con probabilidad a finales del siglo XIV o principios del siglo XV. Consta de tres niveles, separados por bóveda de cañón apuntado y subdivididos a su vez por forjados de madera, y un sótano, todo ello construido en sillarejo. Fue en el siglo XVI cuando se levantó el último piso de la torre, construido en piedra sillar, con una ventana adintelada a cada lado.

El sótano fue empleado como cárcel, y en él todavía se conserva una trampilla en el techo para poder comunicarse con los presos. En cuanto a los otros tres pisos, son muy oscuros salvo el segundo, considerado el principal, que está iluminado con dos ajimeces con bancos tallados a los lados. En la segunda mitad del siglo XV, la torre quedó rodeada por una muralla que cegó varias de las saeteras primitivas.