El jardín de San Carlos fue construido como castillo defensivo fuera de las murallas en el siglo XIV, y quedaría unido a la ciudad en el XVI.

Poco a poco fue perdiendo importancia como baluarte y, tras estallar el polvorín que contenía, fue abandonado hasta que ya en el siglo XVIII fue recuperado como jardín por Carlos F. de Croix.

El aspecto actual del jardín de San Carlos se debe al gobernador Francisco de Mazarredo en 1834 y presenta una característica de jardín romántico. Ha sido declarado Conjunto Histórico-Artístico junto con las murallas.

Su valor radica en su privilegiada situación desde la que se observa, gracias a su mirador, todo el puerto de A Coruña, en su vegetación, y en la tumba, un sepulcro planteado como monumento funerario, del general escocés Sir John Moore, muerto en la batalla de Elviña en 1809 luchando mientras defendía el embarco del ejército inglés frente a las tropas napoleónicas francesas del general Soult.

Numerosas especies de árboles tanto autóctonos como exóticos están presentes en el jardín, del que destacan dos gigantescos olmos centenarios.

También hay placas homenaje a los 172 oficiales y hombres de la Armada Real Inglesa que murieron en el naufragio del buque "Serpent" cerca de Cabo Villano el 10 de noviembre de 1890.

El edificio adosado a los jardines es la sede del Archivo del Reino de Galicia, el archivo histórico más importante de la comunidad de Galicia.