Ömer bin Abdülaziz 101 yılında ölmüştür. Hastalığı yirmi gün kadar devam etmiştir. Hastalandığı zaman kendisine tedavi olması söylenildi, “Eğer bilsem ki benim ilacım kulağıma dokunmaktır, yine de ona dokunmazdım. Gidilecek yerlerin en iyisi Rabbimdir.” diye karşılık verdi. Deyr Seman denilen yerde ölmüştür. Hunasırada ölüp Deyr Semanda defnedildiği de söylenir. Hilafeti iki sene beş ay sürmüştür. Yaşı otuz dokuzu biraz geçmişti. (Kırk yaşından bir kaç ayaldığı da söylenir.) Künyesi Ebu Hafs idi. Ona Eşeccu Beni-Ümeyye (Ümeyyeoğullarının başı yaralısı; mecazen, yüzü ak olanı.) denilirdi. Küçüklüğünde babasının hayvanlarından biri Onu başından yaralamıştı. Ömer bu şekilde annesinin yanına gelince annesi Onu bağrına basarak yanına bir gözetici koymadığı için babasına sitem etmiş, onu kınamıştı. Abdülaziz de ona: “Sus ey Asımın annesi! Eğer o Ümeyyeoğullarının yüz akı olursa ne mutlu sana!” diye karşılık vermişti.
Meymun bin Mihran Ömerin şöyle dediğini naklediyor: Velidi kabrine koyduğumda yüzünün simsiyah olduğunu görmüştüm. “Ölüp defnedildiğim zaman yüzümü aç,” dedi. Dediğini yaptım ve Onun en güzelolduğu halinden daha güzelolduğunu gördüm.
ibn Ömer şöyle derdi:
“Ah keşke Ömerin (b. Hattab) soyundan yüzünde alamet taşıyan biri olsa da dünyayı adaletle doldursa.”
Ömer bin Abdülazizin annesi, Asim binti Asım bin Ömer bin Hattabın annesidir. (Ömerin nesebi de şudur: Ömer bin Abdülaziz bin Mervan bin Hakem bin Ebil-As).
Ömer bin Abdülaziz hakkında pek çok şiirler söylenmiştir. Küseyyir bin Azze şöyle der:
Onun ölüm haberi bana geldiğinde: “Dinin ve hakkın kıvamını, istikametini kaybettik. ” dedim.
Onlar Deyr-i Semanda lahdin dibine, durulmuş bir vaziyette terazilerin kıstasını koydular.
Cerir ve Farazdakın da şiirleri vardır.