Ces jardins doivent leur nom au fait que l'armée d'Al ibn Ysuf y aurait campé en 1109 alors qu'elle tentait de reprendre la place principale de Madrid. Les premières améliorations ont été apportées par Philippe IV, dont le règne a vu la construction de fontaines et la plantation de divers types de végétation, bien que la beauté générale du site ait été assez négligée. Faute de moyens financiers, quelques aménagements paysagers inspirés des jardins du palais de la Granja ont été réalisés lors de la construction du nouveau palais, mais ce n'est que sous le règne d'Isabelle II que des aménagements plus importants ont été entrepris. C'est à cette époque qu'un vaste parc de style romantique a été planifié et que des fontaines provenant du palais d'Aranjuez ont été ajoutées. Après la mort d'Isabelle II, les jardins ont connu une période de négligence et d'abandon au cours de laquelle une partie de la conception a été perdue. Ce n'est que lorsque Maria Cristina de Habsbourg-Lorraine est montée sur le trône qu'une série de projets de restauration ont été lancés, donnant aux jardins leur conception actuelle, qui est basée sur la disposition des parcs anglais du XIXe siècle.