Bu yılın Ramazan ayında (Haziran-Temmuz 635 M.) Mervan bin Hakem öldü.
Ölüm sebebi şudur: Muaviye bin Yezid, vefatı yaklaştığı zaman kendisinin yerine herhangi bir kimseyi tayin etmemişti. Hassan bin Bahdel ise ondan sonra yönetimin kardeşi Halid bin Yezide verilmesini arzu ediyordu. Fakat Halid yaş itibariyle küçüktü. Hassan da Yezidin babasının dayısı idi. Hassan, Mervan bin Hakeme yönetimi kendisinden sonra Halide vermesini isteyerek beyat etti. Fakat Hassan ve Şamlılar Mervana beyat edince Ona Ebu Haşim bin Utbenin kızı olan Halidin annesi ile evlenmesi söylenildi. Bunu isteyenlerin niyeti Halidin durumunun sarsılması ve halifeliği isteyemez duruma gelmesi idi. Mervan da Halidin annesi ile evlendi. Bir gün Halid Mervanın yanına girdi. Mervanın yanında bir topluluk vardı. Halid iki saf arasında yürüyordu. Mervan kendisine: “Allaha yemin ederim, sen ahmağın tekisin. Gel buraya ey pis kadının oğlu!” diye seslendi. Bu sözleriyle Onu küçük düşürerek Şamlıların gözünden düşürmek istiyordu.
Bunun üzerine Halid annesinin yanına gidip Ona durumu bildirdi, annesi de şunları söyledi: “Bu sözü benden başka hiç bir kimse senden duymasın. Onun hakkından ben gelirim.”
Mervan Halidin annesinin yanına girdiğinde Ona: “Halid sana benimle ilgili herhangi bir şey söyledi mi?” diye sorunca, annesi: “Hayır, O senin hakkında bir şey söyleyemeyecek kadar sana saygılıdır.” diye cevap verdi. Mervan karısının bu sözlerini tasdik etti, inandı ve yanında birkaç gün kaldı. Daha sonra yanında uyuduğu bir gün Halidin annesi Mervanın üzerine bir yastık koydu ve ölünceye kadar üzerinden almadı. Böylece Mervan, Dimaşkta altmış üç yaşında, bir başka deyişe göre altmış bir yaşında iken öldü. Abdülmelik Halidin annesini öldürmek istedi. Fakat kendisine: “O zaman herkes babanı bir kadının öldürdüğünü öğrenmiş olacaktır.” denilince vazgeçti.
Mervan ölünce Şamda işleri oğlu Abdülmelik eline aldı. Diğer oğlu Abdülaziz ise Mısırda ve kardeşi Abdülmelikin itaatinde bulunuyordu.
Abdülmelik dünyaya yedi aylık olarak gelmişti. Bu bakımdan halk Onu zemmediyordu. Denildiğine göre bir gün yanında ileri gelenlerden bir grup toplantı halinde idi. Abdülmelik Ubeydullah bin Ziyad bin Zabyan el-Bekriye şöyle dedi: “Bana senin babana benzemediğin haberi ulaşmış bulunuyor.” Ubeydullah ona şu cevabı verdi: “Öyle değil! Allaha yemin ederim ki ben Ona suyun suya, karganın kargaya benzeyişinden daha çok benziyorum, fakat arzu edecek olursan ben sana rahimlerde doğru dürüst pişmeyen ve tam olarak doğmayan, dayılara ve amcalara benzemeyen kişinin kim olduğunu bildireyim. ” Mervan: “Bu kimmiş?” diye sorunca da Ubeydullah: “Süveyd bin Mencuf.” diye cevap verdi. Ubeydullah ve Süveyd dışarı çıktıklarında, Süveyd Ubeydullaha şöyle dedi: “Kırmızı develer bile beni Mervana söylemiş olduğun bu sözler kadar sevindiremezdi.” Ubeydullah da bunun üzerine: “Allaha yemin ederim, senin söylemiş olduğum bu sözlere katlanman da beni siyah develere sahip olmaktan daha çok sevindirdi.”