Pembangunan masjid ini berawal ketika Rasulullah hijrah dari Makkah ke Madinah. Setibanya di Kampung Quba, Madinah Rasulullah disambut meriah oleh penduduk Madinah dengan lantunan thala’al badru’alaina.

Rasulullah singgah di Quba selama empat hari, dan beliau memerintahkan untuk membangun Masjid Quba bahkan ikut terlibat dalam proses pembangunannya.

Dibangun pada 1 Hijriah atau 622 Masehi, Masjid Quba ini didirikan di atas tanah seluas 1.200 meter persegi milik keluarga Kalsum bin Hadam dari Kabilah Amru bin Auf. Bisa dikatakan, masjid ini merupakan masjid pertama yang dibangun dalam sejarah Islam.

Peletakan batu pertama masjid ini dilakukan oleh Nabi Muhammad. Sedangkan pembangunannya dilanjutkan oleh para sahabat. Nama Quba pada masjid tersebut diambil dari nama tempat masjid ini berdiri.

Saat penulis yang tergabung dalam Media Center Haji (MCH) 2023 mengunjungi Masjid Quba, ribuan jemaah haji dari berbagai negara di dunia berkunjung ke masjid tersebut.

Hal itu tidak mengherankan, mengingat Rasulullah pernah bersabda bahwa salat di Masjid Quba bernilai sama seperti pahala umrah. "Barang siapa yang keluar dari rumahnya kemudian mendatangi masjid ini, yakni Masjid Quba kemudian salat di dalamnya, maka pahalanya seperti ia menjalankan umrah,” (Ibnu Majah).

Dalam hadits riwayat Imam Muslim dari Abdullah bin Umar, dia berkata. "Dahulu Nabi Muhammad Saw mendatangi Masjid Quba setiap hari Sabtu dengan berjalan kaki atau berkendaraan kemudian melaksanakan salat dua rakaat.”

Bahkan, dalam Al Qur'an disebutkan Masjid Quba merupakan masjid yang dibangun dengan dasar ketaatan dan ketaqwaan Rasullullah kepada Allah SWT.

”Sesungguhnya masjid yang didirikan atas dasar takwa (Masjid Quba) sejak hari pertama adalah lebih patut kamu shalat di dalamnya. Di dalam masjid itu ada orang-orang yang ingin membersihkan diri. Dan Allah menyukai orang-orang yang bersih.” (QS At-Taubah [9]: 108).

Peristiwa penting lainnya adalah, Masjid Quba menjadi lokasi digelarnya Salat Jumat untuk pertama kalinya yang dipimpin Rasulullah. Seiring perjalanan waktu, masjid ini mengalami beberapa kali renovasi.

Khalifah Umar bin Abdul Aziz (717-720) adalah orang pertama yang membangun menara di Masjid Quba. Kemudian, sejak awal abad ke-20, masjid ini mengalami perluasan yang signifikan.

Pada 1984, Mashid Quba ditambah tiga menara, sehingga totalnya memiliki empat menara. Selain itu, dibangun 56 kubah mini dan tujuh pintu masuk utama, dengan lantai mimbar, mihrab, hingga halaman yang terbuat dari marmer. Pada 1986, di masa Raja Fahd bin Abdul Aziz, Masjid Quba kembali diperluas.

Bahkan hingga kini, lokasi di sekitar Masjid Quba tengah dalam perluasan dan pembangunan oleh Modern Building Leaders Co. Ltd (MBL). Belum dapat dipastikan apakah pembangunan yang tengah berlangsung itu untuk perluasan parkir atau lainnya.

Dokter Studi Islam Ubaidillah mengatakan, jemaah haji mengunjungi Masjid Quba biasanya di antara Salat Subuh dan Dzuhur. "Memang ada hadits yang menyatakan salat dua rakaat di Masjid Quba nilainya sama demgan pahala umrah," ujarnya.