Se empezó a construir como Mezquita en el año 786, por los conquistadores musulmanes sobre la basílica hispanorromana de San Vicente Mártir (iglesia construida en el siglo VI), en cuyo solar se inicia la edificación del oratorio o haram, con la reutilización de parte de los materiales y quedando reservada al culto musulmán.​

La ciudad de Córdoba durante el siglo X se convierte en la capital más importante del saber en Al-Ándalus, por lo que la mezquita se convierte en el centro de estudios para jueces o donde se estudiaban disciplinas como la medicina o jurisprudencia y todo este trasiego hizo que fuese necesario realizar reformas y ampliaciones en su conjunto. En plena época de expansión de la ciudad, la mezquita era un punto de encuentro de la vida diaria, ya que excepto en los momentos de oración, podía verse a vendedores ambulantes, gente que podía resguardarse de la lluvia, etc, siendo el centro de la cultura y el día a día de la sociedad.

Uno de los accesos a la mezquita, el denominado Patio de los Naranjos, está situado en la parte norte del templo. Tiene su origen en el patio de abluciones de la mezquita de Abd Al-Rahmán I, siendo posteriormente ampliado y reformado durante las siguientes etapas constructivas. Recibe su nombre de los muchos naranjos que contiene y su muro sur, que comunica al patio con el interior del templo, está formado por 17 arcos de herradura. 

En la mezquita de Córdoba se sabe de la existencia de palmeras en el patio poco después de la conquista de la ciudad. Hoy, gracias a plantaciones sucesivas a lo largo de los siglos, el patio cordobés posee gran cantidad de naranjos, cipreses, cinamomos y palmeras. Aunque no se tengan documentados, lo más probable es que, al menos tras la ampliación del patio por el califa Abd Al-Rahmán III (en el siglo X), también se plantasen naranjos o limoneros, los árboles citados con más frecuencia en los patios de las mezquitas andalusíes.

En todo caso el número de naranjos sería mucho menor que en la actualidad. Ahora se encuentran organizados en tres cuadros, con sus alcorques circulares intercomunicados por acequias rectilíneas trazadas en el suelo empedrado, que en primavera inundan el patio con el desmesurado aroma del azahar.

Entre los naranjos, esbeltos cipreses apuntan al cielo, mientras los penachos de las escasas palmeras, suavemente mecidos por la brisa, acentúan la nota de exotismo oriental. Bajo la zona correspondiente a la ampliación de Almanzor, es decir, bajo parte de los ahora naranjos, se halla un gran aljibe cuya construcción se remonta al siglo X.

También en la zona norte de la mezquita cubierta se puede acceder al Patio de los Naranjos atravesando la puerta del Perdón, de estilo mudéjar ya que su reconstrucción data del siglo XIV al final del reinado de Enrique II de Trastámara. Esta puerta es un arco ojival de herradura doble, pues en el interior existe otro con la separación justa para albergar los batientes, de unos 10 x 2 m, de madera de pino forrada de hojas de bronce. 

Los batientes están formados por múltiples hexágonos de bronce, horizontales y verticales. En los centros llevan un hexágono vertical que se abre en las puntas con flor de lis y algunos de los hexágonos horizontales llevan escritos en árabe "el dominio (de todas las cosas) corresponde a Alah su custodio". Los batientes están orlados con un texto en caracteres góticos que dice "bendito sea el nombre de Dios". Esta puerta forma un amplio espacio o zaguán con una cúpula barroca antes de bajar los escalones hacia el patio de los Naranjos.

Junto a la puerta del Perdón encontramos alzando la vista el alminar de la mezquita. Alminar o minarete son los nombres con que se traducen en las lenguas romances la palabra árabe minar o manâr, que designa  a las torres de las mezquitas musulmanas. Tiene una altura de 40 m y en su fachada se abrían por primera vez en construcciones occidentales unas bellísimas ventanas de doble arquería, sostenidas por una columna central con capitel y basa. En el primer cuerpo del alminar había una cristería (adorno calado) y cerca de ella una serie de columnas y arcos de color turquesa. En el segundo cuerpo el yamur estaba coronándolo, tratándose de un tallo que ensartaba tres manzanas, plateadas y doradas y lo remataba una azucena de plata (flor de lis, según la fuente) en lugar de la media luna que era lo habitual.

El primitivo alminar fue levantado según aprobación de Hixén I, quien también terminó el patio. Este alminar era de planta cuadrada, que fue más tarde derribado por Abd Al-Rahmán III. Y es que la intervención del primer califa cordobés no afectó al interior del oratorio, pero amplió el patio hacia el norte, razón por la cual el antiguo alminar fue derribado. El lugar donde se levantó dicho alminar está marcado mediante sillares de granito embutidos en el pavimento del patio de los naranjos, los cuales marcan la planta del mismo. Su nuevo alminar, el más alto de la ciudad, sería modelo para los minaretes almohades y los campanarios mudéjares. Este alminar se conserva actualmente desmochado y embutido en el campanario cristiano, aunque se conoce su alzado aproximado gracias a documentación existente.


Hace unos años el alminar se ha reparado nuevamente y se ha dejado al descubierto la fachada este del alminar y se ha hecho accesible un tramo de escaleras originales, de los dos que tenía. En estas escaleras se puede ver parte de la decoración interior y alguna cabecera de las vigas de madera del siglo X. El alminar cordobés que, como se sabe, fue mandado construir por Abd Al-Rahmán III, era (y es, aunque no se vea) de tal belleza que se convirtió en una maravilla de su tiempo y fue modelo de otros alminares, como precisamente el de la llamada Giralda de Sevilla, e incluso de campanarios cristianos.

La de Córdoba fue la segunda mezquita más grande del mundo en superficie, con 23.400 m2, por detrás de la mezquita de La Meca, siendo sólo alcanzada posteriormente por la mezquita azul de Estambul, construida en el año 1588. Se trata de un bosque de 1.300 columnas de mármol, jaspe y granito sobre las que se apoyan trescientos sesenta y cinco arcos de herradura bicolores asemejándose a un palmeral. 

En total son once naves longitudinales orientadas hacia el río Guadalquivir, cuya anchura es idéntica, a excepción de la central, que conduce al mihrab y las dos de los extremos. La central ligeramente más ancha que el resto y las laterales ligeramente más estrechas, aunque estas leves diferencias solo son apreciables en un plano. Estas naves constan de doce intercolunios que corren en dirección al muro de la qibla. Originariamente todo el interior del edificio era una gran sala hipóstila de 19 naves, utilizada como sala de oración, con la única excepción de los habitáculos existentes en el doble muro de la qibla.

El edificio resultante fue objeto de ampliaciones durante el emirato de Córdoba y durante el califato, en los siglos IX y X, siendo concluida bajo mandato de Almanzor. La más importante de las ampliaciones fue la que se realizó bajo mandato de Al-Hakén II a la que también pertenecen los arcos del mihrab. Y es que el actual mihrab de la mezquita (hubo otros antes de que el edificio fuese experimentando sus sucesivas ampliaciones) es fruto de la gran reforma llevada a cabo en la segunda mitad del siglo X durante el mandato de este califa (años 961-976).

En los arcos de la mezquita se puede ver la evolución de la construcción: las columnas visigodas con sus arcos de herradura les resultaron demasiado bajos a los musulmanes por lo que decidieron añadir pilares sobre las columnas y disponer arcos más altos sin derribar los anteriores y policromando todos en rojo y blanco con lo que se construyó la célebre y más conocida imagen de esta mezquita, habiendo llegado a albergar hasta veinte mil personas.

Una de las principales características de la mezquita de Córdoba es que su muro de la qibla no fue orientado hacia La Meca, sino 51º grados más hacia el sur, algo habitual en las mezquitas del período de Al-Ándalus ya que posiblemente fuese una práctica heredada directamente de Siria por Abd Al-Rahmán I, porque la gran mezquita de Damasco también está orientada en esa dirección.

arcos polilobulados, maqsura

La construcción del mihrab formó parte de un amplio programa de modificaciones en el que se incluyeron también la ampliación de las naves de oración y la creación de una nueva maqsura. Actuaciones todas ellas dirigidas por Chafar, el chambelán de palacio, y en las que colaboraron los más destacados artesanos de la Córdoba de la época, hasta la conclusión de las obras en el año 966.

Así pues, el mihrab de la aljama cordobesa es un excelente ejemplo no tanto de las soluciones constructivas de época califal (hablamos en este caso de una pieza de reducidas dimensiones: 3x3 m), sino sobre todo de las concepciones entonces existentes sobre la decoración de las partes más destacadas de un edificio religioso y, lo que es más importante aún, acerca de la simbología aplicable precisamente a esos elementos ornamentales ya que, como se sabe, la religión islámica es poco amiga de representaciones figuradas y, menos todavía, en las mezquitas. Pero además, este mihrab cordobés es también demostrativo de cómo concepciones de muy diversa procedencia oriental (bizantinas, arábigas, persas, etc) acabaron triunfando en la arquitectura andalusí.

Pese a su reducido tamaño, el mihrab cordobés posee una gran originalidad, ya que con anterioridad a esta construcción los modelos existentes se reducían a pequeñas hornacinas abiertas en el muro de la qibla. En este caso, nos hallamos ante una habitación de planta poligonal (siete lados) que verticalmente podemos dividir en tres zonas: un zócalo de mármol, un friso intermedio en el que encontramos siete arquillos ciegos polilobulados y, por último, una cubierta en la que se ha colocado una bóveda octogonal hecha en yeso y que adopta la forma de una concha (bóveda avenerada).

El mihrab es, en resumen, un joyel de mármol, estuco y mosaicos bizantinos brillantemente coloreados sobre fondo de oro y bronce, además de cobre y plata. En el lucernario se conservan los arcos lobulados de los muros y la cúpula. En la cabecera destacan los arcos, los mosaicos del muro y la estructura y decoración de las cúpulas a base de arcos cruzados. Debe recordarse que este espacio, vedado a los fieles, es el más íntimo y sagrado del templo ya que simboliza la presencia de Alah en la mezquita y, por otra parte, es el lugar junto al que se coloca el imán cuando debe dirigir la oración.

Pero sin lugar a dudas lo más destacado de este conjunto es la decoración de la portada que lo comunica con el resto de la mezquita. En sus laterales se han dispuesto zócalos de mármol decorados con ataurique, mientras que en el centro encontramos un gran arco de herradura sostenido en jambas del mismo material y en las cuales, hacia el intradós, se han integrado las cuatro columnas de mármol que ya estaban presentes en el anterior mihrab, levantado por Abd Al-Rahmán II a mediados del siglo IX.

El arco al que nos referimos muestra todas sus dovelas decoradas y se remata con un amplio alfiz. Las albanegas van adornadas con roleos vegetales y por encima de ellas corre un friso con inscripciones cúficas que alaban a Alah. Aún más al exterior, otro friso que también corre por los laterales del arco, como si se tratase de un segundo alfiz, mantiene los mismos repertorios, esta vez en un brillante color azul. Finalmente, en su parte superior, el conjunto se remata con los siete arcos polilobulados ciegos en cuyos interiores podemos apreciar estilizados árboles de la vida policromados.

En toda esta fachada se combinan distintas técnicas artesanales como talla del mármol, yeserías, cerámica, pintura o decoración musivaria. Todo este repertorio decorativo se extendió también a la imponente cúpula nervada que se sitúa inmediatamente delante de la fachada del mihrab, cubriendo este espacio de la maqsura.

De vuelta al exterior y en el lado oeste de la mezquita, encontramos la puerta de San Esteban, que fue construida en el siglo VIII por Abd Al-Rahmán I y reformada posteriormente por Muhammad I en el año 855.​ Es la puerta más antigua de todo el templo y sirvió de modelo para el resto de las puertas lateras construidas en época musulmana. Es también conocida como puerta de San Sebastián, puerta de los Visires o puerta de Bab Al-Wazara.

El origen de las calles cubiertas, que eran los "sabat", es sin duda del mundo árabe. En sus ciudades aparecen con notable frecuencia. Esos lugares entre un edificio y otro pueden, por la anchura de algunos, servir incluso de vivienda. Lo que aquí nos ocupa es el pasadizo o sabat que se utilizaba como unión entre el alcázar del califa -que estaba situado donde hoy el palacio episcopal- y la mezquita, de forma que el paso del califa a la oración estuviese dentro de la máxima seguridad y discreción.

La puerta del sabat también fue un complemento a la maqsura de los comienzos del islam para proteger al califa de posibles atentados. Se dio la circunstancia de que, de tres califas asesinados, dos lo fueron en el lugar de oración.

En definitiva, en el lado oeste de la mezquita, y al igual que la puerta de San Ildefonso, ese segundo y nuevo sabat fue construido también en la ampliación realizada por Al-Hakén II. La puerta del sabat, en resumen, comunicaba la mezquita con el antiguo alcázar andalusí a través de un puente que fue derribado a comienzos del siglo XVII.