Existe la creencia generalizada de que el apóstol Santiago el Mayor fue el responsable de la introducción del cristianismo en la Península Ibérica. Su cuerpo fue trasladado de Jerusalén a Galicia en una barca de piedra tras su ejecución en el año 44. Su tumba quedó desatendida en el siglo III tras las persecuciones romanas contra los cristianos en Hispania. Su tumba quedó desatendida en el siglo III tras las persecuciones romanas contra los cristianos en Hispania. El ermitaño Pelayo (Pelagio) tropezó supuestamente con esta tumba en el año 814 tras quedar cautivado por la inexplicable luz de las estrellas. El rey Alfonso II de Asturias fue informado del milagro por el obispo Teodomiro de Iria, quien mandó construir allí una capilla. Según el mito, el monarca fue el primer devoto que visitó este lugar sagrado. En 829 se construyó allí una primitiva iglesia y en 899, a instancias del rey Alfonso III,8 el lugar se había convertido en un importante destino de peregrinación. En 997, el ejército del califa de Córdoba, dirigido por Almanzor, ordenó la destrucción de esta primitiva iglesia. En la mezquita aljama de Córdoba se conservan las puertas y campanas de la iglesia, que fueron llevadas allí por cautivos cristianos. Puertas y campanas similares a las de la catedral de Santa Mara de Toledo fueron traídas a Toledo por prisioneros musulmanes tras la conquista de Córdoba por el rey Fernando III de Castilla en 1236.
La catedral actual se comenzó a construir en 1075 bajo el reinado de Alfonso VI y el obispo Diego Peláez, y se tomó como modelo la mayor estructura románica de Francia, la iglesia de ladrillo del monasterio de Saint Sernin de Toulouse. La piedra utilizada en la construcción de la iglesia era de la más alta calidad. El Liber Sancti Iacobi afirma que la última piedra se colocó en 1122 y la catedral se consagró en 1128, a pesar de que la construcción se detuvo en múltiples ocasiones. Los arquitectos fueron "Bernardo el Viejo, un maestro maravilloso", su ayudante Galperinus Robertus, y probablemente "Esteban, maestro de catedrales", como se afirma en el Codex Calixtinus. Por último, "Bernardo el Joven" (tal vez hijo de Esteban) terminó la construcción mientras Galperinus supervisaba la coordinación. En 1122, también construyó una enorme fuente en la plaza, frente a la puerta norte.
El cabildo encargó al maestro Mateo la construcción de la cripta y el Pórtico de la Gloria en 1168, y la catedral fue consagrada el jueves por la mañana de la segunda semana de Pascua de 1211,N 2 por el arzobispo Pedro Muiz en presencia del rey Alfonso IX y su hijo, así como de numerosas autoridades eclesiásticas y civiles.
En 1075, la iglesia fue reconocida como sede episcopal, y en 1120, debido a los esfuerzos del obispo Diego Gelmírez y a la creciente popularidad del lugar como destino de peregrinación, fue elevada al rango de arzobispado. Entre los siglos XVI y XVIII, la catedral fue ampliada y reformada.