Müsavvir ibn Mahreme şöyle anlatır: Bir gün Ömer çarşı ve pazarları dolaşmak üzere dışarı çıktığında yolda Muğire bin Şubenin hristiyan olan kölesi Ebu Lülüeye rastlar. Ebu Lülüe Ömere şöyle der: “Ey müminlerin emiri! Muğire bin Şubeye karşı beni koru ve bana yardım et. Muğire yüklenemeyeceğim bir vergiyi bana YÜkledi. Ömer: “Ödediğin vergi ne kadardır?” diye sorunca, Ebu Lülüe: “Günde iki dirhem.” der. Ömer: “Ne işle meşgulsün?” diye sorar, “Ben marangoz, demirci ve nakışçıyım,” şeklinde karşılık verir. Ömer: “Ben, senin bu haracını fazla görmüyorum. Senin bu yaptığın işlere karşılık fazla değil, ayrıca senin, rüzgarla çalışabilecek bir değirmen yapabilirim, dediğini işittim” der. Ebu Lülüe: “Evet yapabilirim” deyince, Ömer: “O halde bana böyle bir yel değirmeni yapmanı isterim” der. Ebu Lülüe bunun üzerine: “Eğer sen hayatta kalırsan sana ta doğudan batıya kadar halkın söz konusu edeceği bir değirmen yaparım!” der.
Ömer evine dönüp gittikten sonra, ona Kaabul-Ahbar gelip: “Ey müminlerin emiri! Yerine bir kimseyi tayin et, çünkü üç gün içinde ölebilirsin” demiş, Ömer Ona: “Nereden biliyorsun?” diye sormuştu. Kaabul-Ahbar: “Senin öleceğini Tevratta okudum,” deyince Ömer: “Allah Allah sen Ömer bin Hattabın adını Tevratta mı okudun?” diye sorar. Kaab: “Hayır, vallahi senin adını işitmedim fakat senin özelliklerini taşıyan birisinin hikayesini okudum ve senin ecelinin yaklaştığını gördüm.” diye cevap verir. Ömer bunun üzerine “Halbuki hiç bir ağrı ve sızı duymuyorum” der.
Ertesi gün olunca Kaabul-Ahbar tekrar gelip ona iki gün kaldı demiş ve gitmişti. iki gün sonra yine gelip Ömere şöyle demişti: “iki gün gitti, bir gün kaldı.” Üçüncü günün sabahında Ömer sabah namazı için camiye varmıştı. Adeti üzerine safların düzgünce yapılması için adamlar görevlendirirdi. Saflar iyice düzeldikten sonra iftitah tekbiri getirip namaza dururdu. Bu arada Ebu Lülüe yenine sakladığı iki başlı bir hançer ile Müslümanların arasına karışmıştı. Ömer tekbirini aldıktan sonra Ebu Lülüe Ona altı tane hançer darbesi indirmiş ve onlardan bir tanesi tam göbeğinin altına isabet etmişti. Onu öldüren darbe de bu olmuştu. Ebu Lülüe, namazda hemen Ömerin arkasında durmuş bulunan Küleyb bin Ebi Bukeyr el-Leysiyi ve başka kimseleri de şehit etmişti.
Ömer bu hançerin darbelerini iyice hissedip de yere yığılınca Abdurrahman bin Avfın namazı tamamlamasını emretmiş, namaz bitinceye kadar yerde kalmış ve namazdan sonra evine taşınmıştı. Halife, Abdurrahman bin Avfı çağırıp vasiyette bulunmak istediğini söylemişti. Abdurrahman: “Yoksa bana mı bırakmayı düşünüyorsun?” diye sorunca, “Hayır, vallahi hayır!” demiş, Abdurrahman da “Vallahi böyle bir görevi ebediyen kabul etmem” diye karşılık vermişti. Daha sonra Ömer Ona: “Bu işi, Resulallah vefat edip giderken kendilerinden razı olduğu kimselere havale etmek istiyorum, dinle beni.” demişti. Arkasından Ömer, Ali, Osman, Zübeyr ve Sa d bin Ebi Vakkası davet ederek onlara şöyle seslenmişti: “Kardeşiniz Talhayı üç gün bekleyiniz, şayet gelmeyecek olursa kendi işinizi hallediniz.” Sonra dönüp Aliye: “Ey Ali! Eğer sen bu işi yüklenecek olursan, aman Haşimoğullarını insanların başlarına getirmekten sakın” demiş, Osmana ise: “Ey Osman! Şayet sen Müslümanların bu işlerini yüklenecek olursan sakın Ebu Muaytoğullarını insanların başına musallat etmeyesin.” öğüdünde bulunmuştu. Sonra Saada dönmüş: “Ey Saad! Eğer Müslümanların işlerini sen yüklenecek olursan, kendi akrabalarını insanların başına geçirme” diye seslenmiş ve onlara: “Kalkınız ve kendi aranızda bu işi istişare edip bir karara bağlayınız, bu arada namazı da Süheyb kıldırsın” demişti.
Sonra Ömer, Ebu Talha el-Ensariyi çağırıp bu istişare heyetinin toplanacağı evin kapısında durmasını ve içeriye hiç kimseyi sokmamasını emretmişti. Ayrıca Ona şöyle demişti: “Benden sonra halife olacak kimseye Ensarı ve Resulallahı koruyan kimseleri kayırmasını, onlara iyiliklerde bulunmasını ve yaptıklarından dolayı onları kötülüklere ve musibetlere duçar etmemesini tavsiye et.” Ayrıca yine kendisinden sonra halife olacak kimseye islamın asıl nüvesi olan Arapları da ona vasiyet etmişti. Ayrıca sadakaların bu ümmetin zenginlerinden alınıp fakirlerine dağıtılmasını ve Resulallahın zimmetinde bulunan ehl-i kitabı da koruyup onlara islama göre nasıl muamele edilmesi gerektiğini ve bu esaslara göre kendilerine muamele edilmesini istemişti. Bunları dedikten sonra Ömer: “Ey Allahım! Ben üzerime düşenleri tebliğ ettim mi? Ben kendimden sonra halife olacak kimsenin gayet rahatça bir yönetim devralmasını sağladım,” demiş sonra oğlu Abdullaha seslenerek: “Ey Abdullah ibn Ömer! Çık ve beni kimin yaraladığını araştır, gel,” buyruğunu vermişti. Bunun üzerine oğlu: “Ey müminlerin emiri! Seni Muğire bin Şubenin kölesi Ebu Lülüe yaraladı.” demiş, Ömer de: “Benim ecelimi Allaha bir tek defa bile secde etmemiş birisinin eliyle alan Yüce Allaha binlerce şükürler olsun.” diyerek şükretmişti. Ondan sonra oğlu Abdullaha: “Ayşeye gidip benim, Resulallahın ve Ebu Bekirin yanında defnedilmem için izin vermesini rica et,” dedi. Ayrıca:
“Ey Abdullah! Eğer bu istişare heyeti, aralarında ihtilafa düşerlerse sen çoğunluğun yanında ol; eğer onlar istişarelerinde eşit reylere sahip olurlarsa sen Abdurrahman bin Avfın olduğu tarafta ol.” dedikten sonra; “Ey Abdullah! Müslümanların yanıma gelmelerini sağla,” diyerek eklemişti. Bunun üzerine önce muhacirler ve Ensar girip selam vermiş ve yanına oturmuşlardı. Ömer, onlara şöyle demişti: “Sizin bazılarınızın bu olaydan daha evvel haberi var mıydı?” Onlar; “Allah korusun!” diye karşılık vermişlerdi. Bu arada Kaabul-Ahbarı gelenlerle birlikte görünce ona şöyle demişti: “Kaab bana üç günlük bir ecelimin kaldığını söylemiş ve bunları saymamı istemişti.
Gerçekten Kaab söyledi mi doğrudur.
Ben ölümden neye korkayım ki ve zaten öleceğim. Korkum peşpeşe gelmiş günahlardır.”
Bir ara Ali yanına gelip başı ucunda oturmuş ve arkasından ibn Abbas da gelip “Geçmiş olsun” demişti. Bu arada Ömer, ibn Abbasa:
“Sen, bu adamla birlikte (Aliyi işaret ederek) mi ziyarete geldin?” diye sorunca, “Evet” demiş ve Ömer de: “Beni arkadaşlarınla birlikte sakın aldatmayasınız” demişti. Sonra oğlu Abdullaha: “Başımı şu yastıktan indirip de toprağın üzerine koy, belki Yüce Allah benim yüzüme bakar da bana merhamet eder. Vallahi şu dünya ve içindekiler benim olsaydı, şu ruhumun çıkışının verdiği ızdırabı gidermek için rahatlıkla verirdim” demişti.
Ömer, yaralandıktan sonra Benu el-Hars bin Kaab kabilesinden bir tabip getirilmiş ve Ömere şekerli bir su içirmişti. Ancak bu su olduğu gibi karnından dışarı çıkmıştı.
Sonra Ona süt içirmiş, süt de midesinden dışarı akmıştı. Bunu gören tabip Ömere: “Ey müminlerin emiri! Yerine başkasını tayin et,” deyince, Ömer: “Evet, gerekeni yaptım,” demişti.
Hz, Ömer, başı oğlu Abdullahın kucağında yatıp dururken şunları söylemişti: “Ben, nefsim için bazı şeyleri zulmettim, fakat Müslüman olarak tümüyle namazımı kıldım ve orucumu tuttum.”
Ömer, sürekli olarak Allahı anıyor ve kelime-i şahadeti getirirken, H. 23. yılın Zilhicce ayının 27. çarşamba gününde (4 Kasım 644) vefat etmişti. Diğer bir rivayette ise onun çarşamba günü Zilhiccenin son dört gününde yaralandığı ve H. 24. yılın Muharrem ayının ilk gününde (7 Kasım 644) defnedildiği kaydedilir.
On yıl altı ay sekiz gün hilafet görevini yerine getirmişti. Osmana Muharremin üçüncü gününde beyat edilmişti. Diğer bir rivayette ise Ömerin Zilhiccenin bitmesine dört gün kala vefat ettiği, Osmana da Zilhicce ayının son gününde beyat edildiği ve H. 24. yıl Muharreminin birinci gününde göreve başladığı kaydedilir. Bu rivayete göre ise Ömer, 10 yıl 6 ay 4 gün hilafette bulunmuştur. Ömerin cenaze namazını Süheyb er-Rumi kıldırmış ve Ayşenin hücresine taşınıp, Resulallah ve Ebu Bekirin yanına defnedilmiştir. Onu Osman, Ali, Zübeyr, Abdurrahman bin Avf, Saad bin Ebi Vakkas ve oğlu Abdullah kabrine indirmişlerdi.