Abu Dzar Al-Ghifari meninggal di pengasingan pada era pemerintahan Khalifah Utsman bin Affan . Ia menyusul istri dan putranya yang meninggal terlebih dahulu. Tinggal putrinya seorang yang bertahan. Akhir Abu Dzar sesuai dengan nubuat Rasulullah SAW yang pada suatu ketika berdoa:

“Semoga Allah melimpahkan rahmat-Nya kepada Abu Dzar. Dia berjalan Sebatang Kara, meninggal sebatang kara, dan dibangkitkan nanti sebatang kara.”

Akhir kisah Abu Dzar Ghifari diceritakan buku The Great Companion of the Prophet (s) Abu Dharr (ra) berdasar cerita anak perempuan Abu Dzar sbb:

Ketika Ayahku meninggal, aku berlari sambil menangis ke arah jalan yang menuju ke Irak. Aku duduk di sana menunggu rombongan yang akan datang. Tiba-tiba terlintas dalam pikiranku bahwa jenazah Ayah terbaring sendirian. Lalu aku berlari ke Ayah. Kemudian kembali lagi ke sisi lain dari jalan yang seharusnya mereka akan lewati. Aku datang dan pergi beberapa kali.

Sekarang tiba-tiba aku melihat beberapa orang datang dengan unta. Ketika mereka mendekat, aku mendekati mereka juga dengan air mata di mataku dan berkata kepada mereka, ‘Wahai sahabat Nabi! Seorang sahabat Nabi telah meninggal.’

Mereka bertanya kepadaku, "siapa dia?"

Aku menjawab, "Ayahku, Abu Dzar al-Ghifari."

Begitu mereka mendengarnya, mereka turun dari unta dan menemaniku yang menangis. Ketika mereka sampai di tempat, mereka menangis dan sangat terkejut dengan kematiannya yang menyedihkan dan segera menyibukkan diri dengan upacara pemakamannya.

Sejarawan A’tham Kufi mengatakan bahwa rombongan yang akan pergi ke Irak terdiri dari Ahnaf bin Qays Tamim, Sa’sa’ah bin Sauhan al ‘Abdi, Kharijah bin Salat Tamimi, Abdullah bin Muslimah Tamimi, Hilal bin Malik Nazle, Jarir bin Abdullah Bajali, Malik bin Ashtar bin Harits, dan lain-lain.

Orang-orang ini memandikan dan memasangkan kain kafan kepada Abu Dzar. Setelah pemakaman, Malik bin Ashtar berdiri di samping kuburan dan menyampaikan pidato mengenai masa hidup Abu Dzar dan mendoakannya. Setelah memuji Allah SWT dia berkata:

“Ya Allah! Abu Dzar adalah sahabat Nabi-Mu dan orang yang beriman terhadap kitab-Mu dan Nabi-Mu. Dia berjuang dengan sangat berani di jalan-Mu, tetap teguh pada hukum Islam-Mu dan tidak pernah mengubah atau menyimpangkan perintah-Mu.

Wahai Tuhanku! Ketika melihat beberapa pelanggaran Kitab Suci dan tradisi dia meninggikan suaranya dan menarik perhatian orang-orang yang bertanggung jawab atas umat untuk melakukan perbaikan, akibatnya mereka menyiksanya, membuatnya pergi dari satu tempat ke tempat lain, menghinanya, menyuruhnya pergi dari negeri Nabi terkasih dan membuatnya mengalami kesulitan yang sangat. Akhirnya dia menghembuskan nafas terakhirnya dalam keadaan kesepian di tempat yang sunyi.

Ya Allah! Berikan Abu Dzar sebagian besar dari berkah surgawi yang telah Engkau janjikan kepada orang-orang yang beriman….”

“Amiiin,” seru yang lainnya.

Setelah selesai upacara pemakaman, hari sudah sore, dan mereka memutuskan untuk menginap semalam. Keesokan paginya mereka sudah berangkat kembali. Atas keinginannya sendiri, putri Abu Dzar tetap tinggal di sana. Beberapa hari kemudian Khalifah Utsman memanggil dan mengirimnya pulang.

Putri Abu Dzar masih tinggal di sana, di dekat kuburan ayahnya selama beberapa hari, hingga suatu malam dia melihat ayahnya di dalam mimpi, dia sedang duduk dan membaca Al-Quran.

“Ayah! Apa yang terjadi denganmu, dan sampai sejauh mana engkau diberkahi oleh Allah yang maha penyayang?”

Abu Dzar menjawab, “Wahai anakku, Allah telah menganugerahkan kepadaku bantuan tanpa batas, telah memberiku segala penghiburan dan memberikan segalanya kepadaku. Aku sangat senang dengan kemurahan hati-Nya. Sekarang adalah tugasmu untuk sibuk dalam beribadah kepada Allah seperti biasanya, dan jangan biarkan kebanggaan dan kesombongan menghampirimu.”