Según la tradición cristiana, la Virgen María se apareció en Zaragoza el 2 de enero del año 40 sobre una columna, conocida como el Pilar. A raíz de esta creencia, se dice que la Virgen pidió que se construyera una capilla en ese lugar, obra que habría realizado el apóstol Santiago junto a los primeros convertidos de la ciudad.

No existen pruebas arqueológicas o documentales de esa primera capilla, pero sí se tiene constancia de la existencia, en el siglo IX, de una iglesia dedicada a Santa María en el mismo emplazamiento, alrededor de la cual se organizó una comunidad de mozárabes.

Tras la conquista de Zaragoza por Alfonso I de Aragón en 1118, el templo se hallaba en ruinas, por lo que el obispo Pedro de Librana tuvo que acondicionarlo para el culto. Posteriormente, se inició la construcción de una iglesia románica, que no se completó hasta el siglo XIII. De esa época proviene la antigua capilla del Pilar, documentada en 1240 como un espacio de culto independiente. En 1297, una bula papal confirma la veneración del Pilar y la consolidación del culto a Santa María del Pilar.

A finales del siglo XIII y hasta 1515, se levantó un nuevo templo de estilo gótico-mudéjar, que incluía un coro labrado y el retablo mayor encargado a Damián Forment. El estado de este templo se conoce gracias a croquis, vistas de la ciudad y documentos notariales de la época. La antigua capilla se mantuvo hasta las reformas del siglo XVIII.

En 1670, por impulso de Juan José de Austria, comenzó la construcción del actual templo barroco, dirigido inicialmente por maestros zaragozanos y continuado por el arquitecto real Francisco de Herrera el Mozo. En 1730 se completó la ampliación, alcanzando las dimensiones actuales. Entre 1754 y 1765, Ventura Rodríguez proyectó la nueva capilla de la Virgen e introdujo modificaciones en la decoración interior, dotándola de un estilo más sobrio y cercano al gusto neoclásico.

La característica silueta de cúpulas y torres se completó entre 1796 y 1872, aunque las torres angulares no se terminaron hasta 1961, otorgando al templo su aspecto definitivo.