El palacio del Rey Niño, o también denominado Palacio Episcopal se construyó en el siglo XII como parte de las defensas de la muralla de Ávila, ya que la defensa de cada puerta de la muralla estaba encomendada a un palacio.

El dueño del palacio, el obispo, tenía que defender la puerta de la catedral. El palacio estaba adosado al tramo de muralla que discurre entre dos puertas, la anterior y la puerta de San Vicente.

Se conoce al palacio como del Rey Niño porque las crónicas de la época cuentan que en él estuvo instalado el futuro rey Alfonso XI, bajo la tutela del obispo Don Sancho, cuando le trasladaron a Ávila para protegerle hasta que se nombrase un tutor regente.

En 1775, el palacio pasó a manos del Estado cuando se suprimió la Compañía de Jesús. En ese momento albergó las escuelas públicas.

A lo largo del tiempo se fue dividiendo y en él se establecieron diversos organismos públicos: actualmente alberga el edificio de Correos y la Biblioteca Pública del Estado, la cual todavía conserva la puerta original del palacio, de estilo Fruchel, de granito y rematada por un escudo.

Por otra parte, el resto del palacio fue destruido y en su lugar se construyó el actual edificio de correos que data del siglo XVI y que conserva parte de la portada, una ventana en esquina y la Sala de Sínodos.