Según la tradición, en el solar de la actual Mezquita-catedral de Córdoba había originalmente una iglesia cristiana dedicada a San Vicente Mártir, que fue dividida y compartida entre cristianos y musulmanes tras la conquista islámica de la península ibérica. Con el aumento de la población islámica, el emir Abderramán I decidió en 785 comprar la estructura al completo y demolerla,​ para construir la nueva mezquita; a cambio, permitió a los cristianos reconstruir otras iglesias en ruinas, incluidas las de los mártires San Fausto, Januario y Marcial, que gozaban de gran devoción en la época.

La historicidad de estos eventos ha sido discutida,​ debido a que las evidencias arqueológicas son escasas y no se ha podido comprobar con hechos posteriores a la llegada de Abderramán a la península. El relato de la iglesia siendo reconvertida en mezquita, que es desarrollado por el historiador del siglo X Al-Razi, alberga muchas similitudes con la conquista musulmana de Siria, en particular con la construcción de la Mezquita de los Omeyas en Damasco. Para los historiadores medievales, estos paralelos servían para enaltecer la conquista omeya de la península y la apropiación de la Córdoba visigoda.11​15​ Otra fuente del siglo X menciona una iglesia que se levantó en el centro de la mezquita, sin dar muchos más detalles.15​ Una exposición arqueológica actual en la Mezquita-catedral muestra fragmentos de un edificio tardoantiguo o visigodo excavado por el arquitecto Félix Hernández en 1930, enfatizando el carácter cristiano del monumento.​

La mezquita fundacional fue construida por Abderramán I, uno de los últimos miembros de la dinastía omeya que había conseguido escapar de Damasco tras la masacre de su familia durante la Revolución abasí y había derrotado al gobernador abasí Yusuf ibn Abd al-Rahman al-Fihri en Córdoba, instaurando el nuevo Emirato independiente en el 756.

La construcción de la mezquita comenzó en 785 y terminó en menos de dos años. Este periodo de tiempo tan reducido puede deberse a la reutilización de piezas (material de acarreo) romanas y visigodas, sobre todo columnas y capiteles. Se desconoce el arquitecto, aunque se han observado influencias sirias (omeyas), visigodas y romanas en el diseño del edificio. Entre los albañiles probablemente se encontraban locales y sirios de origen. Según la tradición y algunas fuentes escritas, Abderramán se encargó personalmente del proyecto, aunque se ha debatido hasta qué punto influyó su persona en el diseño de la mezquita.

Los muros de qibla de las mezquitas teóricamente deben estar orientados hacia La Meca, sin embargo, la Mezquita de Córdoba está orientada hacia al sur, mientras que La Meca se encuentra al sureste.32​33​ Esta orientación, a diferencia de las mezquitas actuales, se debe a las diferencias históricas de opinión sobre la dirección apropiada del muro de qibla en lugares islámicos más lejanos como al-Ándalus y Marruecos.

El emir Hisham I terminó los trabajos inacabados tras el fallecimiento de Abderramán I, terminando el patio o sahn y erigió el primer alminar.26​30​ Este primitivo alminar, de planta cuadrada, fue más tarde derribado por Abderramán III quien construyó otro, luego parcialmente desmochado, y cuyos restos se cree que se encuentran actualmente embutidos en el campanario cristiano de la catedral. La cimentación del alminar de Hisham I fue hallada en el Patio de los Naranjos por el arqueólogo Félix Hernández en el siglo XX, quién dejó marcada su ubicación en el pavimento y es hoy día visible.

Según la historiografía clásica, el crecimiento de la ciudad habría determinado la necesidad de un oratorio (haram) con un aforo mayor para poder albergar más fieles durante la celebración de los viernes, por lo que Abderramán II decidió la primera ampliación de la mezquita. Las obras comenzaron en 836 (aunque también se citan los años 833 y 848), acabándose en el 852, bajo mandato ya del hijo de Abderramán II, Muhammad I (r. 852-886).29​26​30​ Para llevarla a cabo se derribó el primitivo muro de la quibla, cuyos restos son actualmente visibles en forma de grandes pilares, y se prolongaron las arquerías en ocho tramos o crujías más, con una longitud total de 24 metros.

En 929 Abderramán III instauró el nuevo Califato de Córdoba y consolidó el nuevo poder andalusí en la región. Como parte de sus variados proyectos constructivos, agrandó el patio de la Gran Mezquita y derribó el primer alminar y erigió uno nuevo comenzando entre 951-952.26​30​ El minarete o alminar tenía 47 metros de altura y una base cuadrada de 8,5 metros por lado. El erudito Jonathan Bloom ha sugerido que la construcción del minarete por Abderramán fue visto como un símbolo de la creciente autoridad del califa y un intento de rivalizar con el Califato fatimí al este. Abderramán también reforzó el muro norte del patio añadiendo otra fachada frente a la antigua.

Coincidiendo con el esplendor del califato, Alhakén II (r. 961-976), que participó en los proyectos arquitectónicos de su padre, comenzó durante su reinado en 961 la ampliación más innovadora. Derribó el antiguo mihrab de Abderramán II, del que también quedan restos visibles en la actualidad, y amplió la sala de oración 45 metros hacia el sur añadiendo doce crujías con el diseño original de doble arcada. La nave central de la mezquita se ennobleció con la construcción de una cúpula nervada, ahora parte de la capilla de Villaviciosa. Asimismo, se creó una macsura rectangular y rematada con tres cúpulas nervadas alrededor del nuevo mihrab, presidida con arcos únicos polilobulados y entrecruzados, y en las columnas se alternan fustes rosas, de jaspe rojo de Cabra, y azules oscuros de la Sierra Morena cordobesa.

Dado el gran continuo crecimiento demográfico de Córdoba, el hayib del califa Hisham II, Almanzor, decidió llevar a cabo la tercera y última de las ampliaciones de la mezquita entre 987-988.26​29​ Su ampliación fue la más extensa de las acometidas, afectando tanto a patio como a sala de oración, aunque no se hizo hacia el sur como las anteriores, debido a la cercanía del río Guadalquivir, sino hacia el este 47,76 metros, añadiendo ocho naves a la mezquita que dejan descentrado el mihrab. Una vez más, se repitió el mismo diseño de doble arcada en la nueva construcción, aunque la alternancia de dovelas es solo cromática y no de materiales puesto que todas son de piedra caliza, aunque pintadas de almagra las rojas.

Tras el colapso del Califato cordobés a comienzos del siglo XI, no se realizaron más ampliaciones en la mezquita. La ausencia de autoridad tuvo consecuencias negativas en el templo, como el saqueo y daño durante la fitna de al-Ándalus.47​ Córdoba también sufrió un declive, aunque se mantuvo como un centro cultural relevante. Bajo los almorávides, los talleres artesanales cordobeses fueron contratados para crear mimbares ricamente decorados para importantes mezquitas de Marruecos, siendo el más célebre el mimbar de Ali Ibn Yusuf en 1137, que fue inspirado por el mimbar de Alhakén II de la Gran Mezquita.

Tras la conquista castellana de Córdoba en 1236, Fernando III de Castilla convirtió la mezquita en catedral y la dedicó a la Virgen María, sufriendo diversas alteraciones que acabarán configurando la actual Catedral de Córdoba. La primera misa se celebró el 29 de junio de ese año.​ Según el obispo Rodrigo Jiménez de Rada, Fernando III también devolvió las antiguas campanas de la catedral de Santiago de Compostela, que habían sido sustraídas por Almanzor, a dicha ciudad como acto simbólico.

Sin embargo, la mayor quiebra del edificio islámico se producirá a lo largo del siglo XVI, pues en medio de la antigua mezquita se levantó una gran nave cristiana, conformando la nueva Capilla Mayor, bajo los auspicios artísticos y arquitectónicos del Renacimiento; esto supuso una ruptura grave con los postulados espaciales islámicos. La propuesta del obispo Alonso Manrique fue polémica y se encontró con la oposición del concejo municipal de Córdoba. Finalmente, intercedió el emperador Carlos V para que se realizara la obra, aunque más tarde se lamentara, como recogió Bernardo de Alderete, con la famosa frase «habéis destruido lo que era único en el mundo, y habéis puesto en su lugar lo que se puede ver en todas partes».

En 1816 el mihrab original de la mezquita se descubrió tras retirar el retablo de la antigua capilla de San Pedro. Patricio Furriel fue el responsable de restaurar los mosaicos islámicos del mihrab, incluyendo las zonas que se habían perdido. Asimismo, se realizaron restauraciones en la antigua estructura de la mezquita entre 1879 y 1923 bajo la dirección de Ricardo Velázquez Bosco, quien, entre otras cosas, eliminó los elementos barrocos que habían sido añadidos a la capilla de Villaviciosa y descubrió las estructuras previas. Durante este periodo, en 1882, el templo fue declarado Monumento Nacional. Posteriormente, se llevaron a cabo excavaciones arqueológicas en la sala de oración y en el patio de los Naranjos por Félix Hérnandez entre 1931 y 1936. Eruditos posteriores han observado que estas restauraciones desde el siglo XIX se centraron en recuperar los elementos arquitectónicos islámicos, debido a que, partir del siglo XIX, España hizo grandes esfuerzos por estudiar y recuperar su monumentos andalusíes.