La ermita de la Virgen del Puerto de Madrid está situada en el paseo de la Virgen del Puerto (antiguo paseo Nuevo de la Corte), en las inmediaciones del Palacio Real.

Es obra de Pedro de Ribera, y fue construida entre 1716 y 1718 por empeño personal de Antonio de Salcedo y Aguirre, primer marqués de Vadillo, por entonces corregidor de Madrid. La ermita resultó completamente destruida en el transcurso de la Guerra Civil durante la defensa de Madrid, junto con la talla de la Virgen ubicada en su interior.​ El edificio existente a comienzos de la primera época del siglo XXI es una reconstrucción realizada en 1945. Durante siglos fue el destino de la romería madrileña en veneración de la imagen de la Virgen del Puerto que hay en su interior, costumbre que dio lugar a la verbena de la Melonera.

Su origen se remonta en la imagen tallada de la Virgen del Puerto existente en su interior. Bajo el reinado de Felipe V el corregidor de Madrid, Francisco Antonio de Salcedo y Aguirre, marqués de Vadillo, le encargó al entonces joven Pedro de Ribera embellecer y ordenar los alrededores del viejo Alcázar. La primera gran obra que realizó Ribera en Madrid fue la ordenación del terreno que había entre el Manzanares (Campos de la Tela) y el Campo del Moro.​ El paseo y arboleda se denominó paseo de la Virgen del Puerto en honor a la patrona de Plasencia, ciudad de la que el marqués de Vadillo había sido corregidor durante siete años (1689-1696) y en la que había desarrollado una gran devoción por la advocación mariana placentina.3​ Las obras estaban completas en 1718, ya que el 7 de septiembre se solicitó permiso para trasladar la imagen desde el Colegio Imperial hasta su nueva sede. La procesión se celebró el día 10 de ese mismo mes. Al acto asistió el Ayuntamiento, el cabildo y los grandes de la Corte.

Se trata de uno de los primeros ejemplos de arquitectura barroca en España. La fachada se encuentra marcada por dos torres, cada una de ellas coronadas por campanas y chapiteles. El portal es adintelado. El interior de la ermita fue construido en periodo borbónico. La capilla es de planta ochavada. En su interior se puede ver el sepulcro del marqués de Vadillo, también realizado por Pedro de Ribera. Las decoraciones de las torres se realizan con balcones, sitios privilegiados desde los que los patronos asistían a los momentos más interesantes de las romerías y los festejos. El chapitel de la cúpula se soporta sobre un tambor octogonal.

El edificio está sustentado por pilastras. La explanada en torno a la ermita sirvió de lugar para la celebración de las romerías que posteriormente se trasladaron al Parque de la Arganzuela a finales del siglo XX. Inicialmente fueron celebradas por los inmigrantes gallegos y asturianos que se congregaban en Madrid.​ Su forma general fue calcada en las ermitas seiscentistas de los jardines del palacio del Buen Retiro, formaba parte de un interesante complejo urbanístico, lo mismo que el puente de Toledo sobre el cauce del río Manzanares.