El Palacio de Pimentel se encuentra situado en la Plaza de San Pablo, y fue el lugar de nacimiento de Felipe II. El edificio, ejemplo de arquitectura palaciega en Valladolid, sirve actualmente de sede para la Diputación Provincial de Valladolid.

Aunque su construcción se iniciara en el siglo XV, ha ido incorporando paulatinamente elementos de épocas posteriores. Su construcción empieza por orden del marqués de Astorga, para pasar a ser de Bernardino Pimentel, regidor de Valladolid y tío de Alonso Pimentel y Pacheco, II duque de Benavente, siendo él el propietario del palacio cuando Felipe II nació en su interior, al estar albergada en el palacio la familia real para asistir las Cortes celebradas en abril de 1527. En 1530, el edificio era propiedad de los condes de Rivadavia. Los herederos de estos lo venden en 1849 a Mariano Reynoso y Oscáriz, quien a su vez lo vende a la Diputación Provincial de Valladolid en 1875, para instalar en él sus dependencias, donde aún continúan.

El palacio que ha llegado a nuestras manos está muy alterado debido a las grandes transformaciones que ha sufrido a lo largo del tiempo. Se organiza en torno a un patio, como es natural en la arquitectura doméstica vallisoletana de su época. Al patio se accede mediante un zaguán, que comunica con la calle mediante una portada tardogótica de arco rebajado. Por el exterior, lo más importante es su famosa ventana plateresca, de comienzos del siglo XVI, que se encuentra en la esquina. Precisamente, esta ventana y el torreón que se eleva en este punto, potencian la esquina, fuente de perspectivas. La ventana posee un atrevido arco y una decoración de grutescos siguiendo los modelos de las pinturas de la Domus Aurea.

En cuanto a su estructura, consta de dos alturas en el cuerpo principal y tres en el torreón. Los materiales utilizados son el ladrillo excepto en el remate de las esquinas, la portada y el zócalo, que fueron realizados en piedra. A partir de 1985 el palacio se sometió a una profunda restauración según proyecto del arquitecto Ángel Ríos.

Desde la inauguración de la Sala de Exposiciones, tras la restauración del palacio en 1990, con una extensión aproximada de 260 metros cuadrados, ha desarrollado una línea expositiva en la que se conjuga la difusión de artistas locales con los de otras comunidades.

La leyenda cuenta que por una de las ventanas del palacio, de la que cuelga una cadena, fue sacado el rey Felipe II al nacer para que fuera bautizado en la Iglesia de San Pablo, pues de salir por la puerta del palacio debería haber sido bautizado en la cercana Parroquia de San Martín. Sin embargo, parece ser que la leyenda es una deformación de los hechos reales: para el bautizo de Felipe II se construyó un pasadizo elevado entre la iglesia de San Pablo y el palacio para que la familia real discurriese por él sin pisar la calle. Al estar elevado el pasadizo, se usó como salida del palacio una de las ventanas, sin que sepamos con certeza cuál pudo ser.