La fortaleza consta de dos robustos torreones de planta cuadrada, rematados por almenas en sus cuatro fachadas y unidos entre sí por un cuerpo central de menor altura. Todo el conjunto se levantó con gruesos muros de cantería, en los que casi no se abren vanos. En el cuerpo central se encontraba el salón principal del alcázar, de forma alargada. De los dos torreones, el de la izquierda estaba cubierto por bóvedas; era la residencia de los Velasco y donde se guardaba el archivo. El torreón norte era más frío y oscuro y en él residía la guardia y la servidumbre. Las diferentes plantas se comunicaban entre sí por una escalera de caracol, a la que se accedía por una puerta de arco rebajado, sobre la que están grabados los escudos de los Velasco. A pesar de su tosca forma exterior, sus salones y estancias fueron modelo de lujo y elegancia, como muestran sus restos de yeserías mudéjares.

En el siglo XIX los Duques de Frías cedieron en usufructo el alcázar al Ayuntamiento de Medina de Pomar, que posteriormente obtuvo su completa propiedad. Desde noviembre de 2002, está ubicado en la fortaleza el Museo de Las Merindades. Las colecciones museísticas que alberga permiten rastrear la historia de la comarca a través de sus diferentes salas: Merindades, Arqueología, Sala Noble, Etnografía, Historia y Patrimonio, Bellas Artes y Medio Físico. Las cuatro plantas del Museo custodian elementos tan significativos como el albalá de Enrique II en el que se otorga a Don Pedro Fernández de Velasco la villa de Medina de Pomar en señorío, una boca de fuente romana del siglo III o del IV o una inscripción de la consagración de la iglesia visigótica de Santa María de Mijangos (siglo VI).

En la última planta, en la terraza de la torre norte, hay un mirador desde el que se controla toda la ciudad y un extenso territorio: desde los Obarenes hasta los montes de Valnera y Ordunte, la Sierra de la Tesla y los Montes de la Peña. Además de la exposición permanente, se realizan otras itinerantes, que se acompañan con conferencias, ciclos de cine histórico y actividades dirigidas a los escolares.

Por su contenido museográfico, el Museo Histórico de Las Merindades está incluido en la Red de Museos de la Junta de Castilla y León. Esta fortaleza ha sido declarada Bien de Interés Cultural en 1931 y es el símbolo de la ciudad y del poder de la familia que dominó esta tierra en la Edad Media.