Originariamente todo el interior del edificio era una gran sala hipóstila, utilizada como sala de oración, con la única excepción de los habitáculos existentes en el doble muro de la quibla. Aparte de su uso religioso que incluía los cinco rezos diarios y el especial del viernes, la sala también se utilizó como centro educativo y de la sharia durante el gobierno de Abderramán I y de sus sucesores.

La sala era grande y llana y estaba cubierta con techos de madera sostenidos por una doble arcada que descansaban en columnas. Estos arcos dividían la mezquita fundacional en once naves de norte a sur, más tarde ampliada por Almanzor a diecinueve naves. Aproximadamente las 850 columnas estaban realizadas en jaspe, ónice, mármol, granito y pórfido. En la mezquita fundacional, todas las columnas y capiteles fueron reutilizados de edificios romanos y visigodos, aunque las subsecuentes ampliaciones, comenzando por Abderramán II, incorporaron nuevos capiteles islámicos que evolucionaban de los romanos. La nave que dirigía al mihrab, que fue la central hasta que Almanzor terminó con su simetría, es un poco más ancha que el resto, demostrando una sutil jerarquía en el diseño de la mezquita. La doble arcada fue una innovación que permitió una techumbre más alta; consisten en un arco de herradura en la parte inferior y un arco de medio punto en la superior. Las célebres dovelas rojas y blancas de los arcos estuvieron inspiradas en la Cúpula de la Roca95​ y también recuerdan a la catedral de Aquisgrán, que fueron construidas casi de manera coetánea. El arco de herradura ya era conocido en la península ibérica desde la época visigoda, por ejemplo fue utilizado en la iglesia de San Juan de Baños, y en menor medida en regiones bizantinas y omeyas de Oriente Medio; sin embargo, el arco de herradura islámico evolucionó con una versión propia, más característica y sofisticada.​ El sistema arquitectónico de la mezquita de la doble arcada está considerado como una de las características más innovadoras y ha sido objeto de muchas opiniones. La sala hipóstila ha sido descrita como un «bosque de columnas» y ha hecho un efecto similar a una «sala de los espejos».

La techumbre original de la mezquita estaba realizada con tablas de madera y vigas talladas y pintadas con decoración. Se han preservado fragmentos originales, algunos de los cuales se muestran en el patio de los Naranjos, que fueron descubiertos en el siglo xix y han permitido a restauradores modernos reconstruir la techumbre en algunas secciones occidentales de la mezquita según su estilo original. Por el contrario, las naves orientales, que pertenecen a la ampliación de Almanzor, actualmente están cubiertas con bóvedas encamonadas de medio punto realizadas en el siglo XVII, a excepción de la sección sur, que se cubre con bóvedas góticas realizadas por Hernán Ruiz I en el siglo xvi. En el exterior se encuentran techos a dos aguas cubiertos de tejas.