Los restos más antiguos del lugar son sillares de granito como los del acueducto romano, lo que sugiere la existencia de un castillo o fortificación durante la dominación romana. Sobre ellos se construyó la fortaleza.

El primer vestigio documental de la construcción es de 1122, poco después de que Alfonso VI de León reconquistara la ciudad, pero no recibe el nombre de Alcázar hasta 1155 en una carta del archivo de la catedral.

Alfonso VIII vivió allí. El palacio cayó cuando Alfonso X estaba dentro en 1258. La sala de armas del palacio es la más antigua. Fue restaurada y ampliada varias veces, presumiblemente desde Alfonso X hasta Felipe II. Esto último le confiere su "silueta" única entre las fortalezas españolas.

El Alcázar fue la residencia favorita de los reyes castellanos, especialmente de Alfonso X, en la Edad Media debido a su seguridad y proximidad a las zonas de caza. El palacio-castillo fue habitado en numerosas ocasiones y testigo de importantes acontecimientos de la historia de España, como la proclamación de Isabel la Católica y la ceremonia nupcial de Felipe II y Ana de Austria en su capilla.

En 1256, el rey Alfonso X el Sabio celebró las primeras Cortes del Alcázar. La remodelación, ampliación y ornamentación del Alcázar, iniciada con Catalina de Lancaster en 1412 y culminada con Enrique IV, fue admirada por todos los visitantes.

Una vez finalizada su función militar, el Alcázar albergó el tesoro real, los archivos y la armería. La decoración de las habitaciones reflejaba esta transformación. Juan II y Enrique IV emprendieron una conservación sistemática de los archivos. Juan II ordenó en 1437 el traslado de los archivos al Alcázar "a mi archivo en la ciudad de Segovia", estableciendo el primer archivo real de Castilla.

El Alcázar alcanzó su máximo esplendor bajo Juan II y su hijo Enrique IV, tanto por su posición en el complicado juego político de aquellos tormentosos años como por su ajetreada vida cultural y su exquisita decoración.

Desde principios del siglo XVII, el Alcázar se convirtió en cárcel gubernamental, como la Bastilla en Francia o la Torre de Londres en Inglaterra. Desde la Edad Media ha albergado ocasionalmente a personajes célebres.

Muchos políticos prominentes fueron encarcelados allí bajo Felipe IV y Carlos II, los últimos gobernantes austriacos.

Carlos III creó el Real Colegio de Artillería de Segovia en 1762, bajo la dirección del conde Félix Gazzola. El Colegio se trasladó al Alcázar el 16 de mayo de 1764. Este centro de enseñanza se convirtió en el modelo de la educación militar ilustrada.

Gracias a los grabados de José María Avrial y Flores de 1839, los bellos techos de las grandes salas fueron fielmente restaurados tras un incendio en 1862.

El Archivo General Militar, que permaneció en el Alcázar, se instaló en el primer piso en 1898.

Se convirtió en monumento histórico-artístico en 1931.