El sitio elegido para establecer la villa de recreo reunía las características adecuadas, no sólo por el entorno natural en el que estaba emplazado, sino porque se encontraba próximo a la nueva capital de la corte, Valladolid. Previamente este lugar había pertenecido a los Reyes Católicos, los cuales construyeron un palacete que después fue vendido a Bernardo de Rojas pasando más tarde a su descendiente, el duque de Lerma, que lo convirtió en una finca de recreo a la que acudió en diversas ocasiones el rey Felipe III.

El palacio ocupa una parcela rectangular en la que domina la horizontalidad. Consta de dos alturas y muros de sillería abiertos con amplios y numerosos ventanales. El conjunto se remata con una cubierta de acusada pendiente que incluye destacadas chimeneas de tradición escurialense. En cuanto a la fachada principal, se compone de una gran puerta de acceso con marco de sobrias molduras y un balcón volado flanqueado por los escudos del duque. En cuanto al interior, las distintas estancias se organizan en torno a un reducido patio central de dos alturas que carece de columnas debido a la falta de espacio y al intento de respetar el primitivo palacete.

El edificio se completa con un magnífico espacio exterior orientado para satisfacer la recreación del monarca y su corte. La mayoría de las tierras inmediatas al palacio fueron relevadas de su tradicional orientación al laboreo y convertidas en espacios ajardinados dedicados al placer y a la contemplación. También debió contar con un complejo sistema de abastecimiento de agua, además de una serie de estanques y fuentes que aportaban frescura y belleza al conjunto. Asimismo, contaba con un gran bosque para practicar la caza, actividad que convirtió el palacio en un lugar muy atractivo para las visitas regias así como de personajes ilustres como Rubens.