Die Gärten erhielten ihren Namen, weil man annimmt, dass das Heer von Al ibn Ysuf im Jahr 1109 hier lagerte, als er versuchte, den Hauptplatz von Madrid zurückzuerobern. Die ersten Verbesserungen wurden von Philipp IV. vorgenommen, unter dessen Herrschaft Brunnen angelegt und verschiedene Pflanzenarten gepflanzt wurden, obwohl die allgemeine Schönheit der Anlage ziemlich vernachlässigt wurde. Aufgrund mangelnder finanzieller Mittel wurden während des Baus des neuen Palastes einige Landschaftsgestaltungsmaßnahmen nach dem Vorbild der Gärten des Palastes von La Granja durchgeführt, aber erst unter der Herrschaft von Isabella II. wurde eine größere Landschaftsgestaltung in Angriff genommen. Zu dieser Zeit wurde ein großer Park im romantischen Stil angelegt, und es wurden Brunnen aus dem Palast von Aranjuez hinzugefügt. Nach dem Tod Isabellas II. wurden die Gärten vernachlässigt und verwahrlost, und ein Teil der Gestaltung ging verloren. Erst als Maria Cristina von Habsburg-Lothringen den Thron bestieg, wurde eine Reihe von Restaurierungsprojekten in Angriff genommen, durch die die Gärten ihr heutiges Design erhielten, das sich an der Gestaltung der englischen Parks des 19.