Situado en la plaza de la Trinidad, junto a la iglesia de San Nicolás, el palacio de los Condes de Benavente fue uno de los palacios más importantes de la ciudad. Escenario de Corte, sirvió de residencia a la familia real (a Felipe II en 1559 y a Felipe III en 1601), y lugar de nacimiento de Ana Mauricia, futura reina de Francia, y de la infanta María (1603), hija de Felipe III y Margarita de Austria.

La fecha bajo la que data el inicio de su construcción fue 1515. Además, fue sede de las Cortes Generales y de los reales consejos. Con Juan Francisco Alonso Pimentel alojó la mejor colección privada de arte que ha existido en Valladolid. Sufrió graves incendios en 1667 y 1716. En 1801 lo adquirió la Diputación de Valladolid para emplearlo como Hospicio hasta la década de los años 1970. En 1982 la Diputación cedió el edificio al Ministerio de Cultura que lo empleó para biblioteca pública, tras un proceso de reconstrucción y rehabilitación operado en el edificio en ruina, al objeto de recuperar y potenciar su tipología original.

En lo que refiere a su estructura, se debe destacar que la planta baja se estructura en torno a dos patios; se respeta totalmente el patio renacentista y se construye un patio en forma circular y cubierta semiesférica. En la crujía central, como resulta habitual en estos conjuntos palaciales, se sitúa la escalera principal de comunicación, adaptándose todo el interior al nuevo uso y funciones, con materiales actuales, hormigón prefabricado, cubiertas de cristal, elementos metálicos, etc.

La fachada principal conserva la primitiva portada de acceso, en piedra, con arco de medio punto, flanqueada por los escudos de los Pimentel Condes-Duques de Benavente y enmarcada en alfiz.