Bu yıl içinde Ebu Zer el-Gıfari ölmüştü, ölmeden önce kızına: “Kızım, dışarı çık ve bak, etrafta kimseler görüyor musun?” demiş, kızı: “Hayır görmüyorum”, diye cevap verince: “Demek ki benim ölüm saatim yaklaşmış değildir” diye eklemişti. Bir müddet sonra tekrar kızına bir koyun kesip pişirmesini emreder ve şöyle der: “Beni defnetmek üzere gelenler son derece salih kimseler olacak. Onların hepsine şöyle dersin:Ebu Zer vefat etmeden önce, defnettikten sonra yiyip içmeden ayrılmamanızı dilemişti.” Koyunun eti iyice kaynayıp pişince de kızına: “Bir daha bak bakalım, etrafta kimse var mı?” demiş, kızı bakıp geri geldiğinde: “Evet, ta oralarda bineklerine binmiş olan bir takım kimseler vardır.” diye karşılık verince de: “Beni kıbleye doğru yatır.” demişti. Kızı kıbleye doğru yatırınca: “Allahım! Senin adınla ve seninle birlikte; Resulallahın milleti ve dini üzerine” diye söylemiş ve gözlerini hayata yummuştu. Kızı dışarı çıkıp bu gelenleri karşılamış ve onlara:
“Allah sizden razı olsun, işte Ebu Zer burada vefat etmiştir” demiş, onlar da:
“Nerede o?” diye sorunca yattığı yeri göstermişti. Gelenler: “Evet ne mutlu bir insandı o, bize her zaman ikramda bulunurdu.” demişlerdi. Bu gelenler arasında Abdullah bin Mesud da olup onu bu şekilde gördüğünde ağlamış ve şöyle demişti: “Resulallah ne kadar da doğru söylemiş. Gerçekten Ebu Zer tek başına vefat edecek ve tek başına dirilecek.” Arkasından Ebu Zeri yıkamış, kefenlemiş ve namazını kılıp defnetmişlerdi. Bu işleri bitirdikten sonra Ebu Zerin kızı onlara: “Ebu Zerin sizlere selamı var, Allahaşkına yemek yemeden ayrılmamanızı istemişti.” Onlar da bu söze uyarak yemek yemiş ve Mekkeye giderken Ebu Zerin çoluk çocuğunu yanlarında götürmüş ve Osmana teslim etmişlerdi. Osman Ebu Zerin kızını kendi ailesine katıp şöyle demişti: “Allah Ebu Zere rahmet eylesin ve günahlarını affetsin. Özellikle er-Rebzeye inişi inşaallah mağfiretle sonuçlanacaktır.”
Ebu Zer, vefat ettiği sırada Onu defnetmek üzere oraya varan bu kafile, çadıra vardıklarında bir misk kokusu duymuş ve bunun nereden geldiğini kızından sormuşlardı. Kız şöyle demişti: “Ebu Zer vefat etmeden önce bana şöyle demişti:Ölen insan etrafa biraz koku yayar. Beni defnetmek üzere gelecek olanlar bu kokuyu duyarlarsa yemek yiyemezler. Ben öldüğümde suyun içine biraz misk koy, üzerime ve çadıra sür. ”
Ebu Zeri defnetmek üzere gelenler şunlardı: Abdullah bin Mesud, Temim Kabilesinden Ebu Müfrez ve Bekir bin Abdullah, Esved bin Yezid, enNehai Kabilesine mensup Alkame bin Kays ve Malik el-Eşter; el-Halhal ed-Dabiyyi, el-Hars ibn Sevid et-Temimi, Amr bin Ukbe es-Sülemi, ibn Rabia esSülemi, Ebu Rafi el-Müzeni, Süveyd bin Şube et-Temimi, Ziyad ibn Muaviye en-Nahai ve el-Karsanın kardeşi ve Midadın ve Şeybaninin kardeşi. Başka bir rivayete göre de Ebu Zerin H. 31. yılda vefat ettiği kaydedilir. Diğer bir rivayette de Abdullah bin Mesudun Ebu Zerin evIad-u iyalini yanında götürmeyip orada terk ettiği ve Osman Mekkeden dönüp de ona Ebu Zerin vefat ettiği bildirilinceye kadar orada kalmış oldukları kaydedilir. Sonra Osman onlara adam gönderip Medineye aldırmıştı.