İbrahim yüzyetmişbeş yaşında Hacer ve Sareden sonra Kudüste vefat etti. Vefat etmeden önce oğlu İsmaile şu vasiyette bulundu: “Ey oğlum! Alnında parlayan bu nur, son peygamber Muhammed ın nurudur. Bütün baba ve dedelerimizin vasiyeti; bu nuru iyi muhafaza edip, zayi etmeyip ehline teslim etmektir. Bu mübarek nuru iyi muhafaza et, nikahlı, afif ve temiz kadınlara teslim eyle. Sen evladına da böyle vasiyette bulun.” Bu hususta İsmailden kuvvetli söz alıp vasiyetini tamamladı.
İbrahim ın ibadet ettiği bir evi var idi. Bir gün evden çıkıp kapıyı kilitledi ve bir müddet sonra döndü. Kapıyı açıp girince, içerde birisinin oturduğunu gördü. “Bu eve seni kim koydu?” diye sorunca, o şahıs; “Ev sahibi koydu” diye cevap verdi. “Ev sahibi benim. Ben seni içeri koymadım!” deyince de; “Senden ve benden başka bir sahip vardır. O her şeyin sahibidir” dedi. Bunun üzerine oturanın melek olduğunu anladı. Kimsin diye sordu ve Melek-ül mevt, yani ölüm meleği olduğunu öğrendi. Sonra İbrahim ; “Müminlerin ruhunu nasıl alırsın bana göster” buyurdu. Azrail ; “Mübarek yüzünü yan tarafa çevir” dedi. Yüzünü çevirince gayet güzel bir suret gördü. Hiç öyle güzel yüz görmemişti. Bunun üzerine; “Ey Melek-ül mevt! Eğer ölen bir kimseye bu suret gösterilirse ona kafidir” buyurdu. Bundan sonra “Îman etmeyenlerin, kafirlerin ruhunu nasıl alıyorsun onu da göster?” deyince, Azrail ; “Tahammül edemezsin” buyurdu. Görmek isteğinde ısrar edince; “Yüzünü yana çevir” dedi. İbrahim yan tarafa dönüp bakınca, çok korkunç bir suret gördü. Bu hali gördü ve kendinden geçti. Kendine gelince de; “Eğer kafire bundan başka kötü şey göstermeseler bu ona yeter.” buyurdu.
İbrahim bundan sonra da Melek-ül mevte yani Azrail a; “Ziyarete mi geldin? Ruhumu almaya mı?” buyurdu. “Eğer izin verirsen ruhunu almaya!” diye cevap verdi. İbrahim ; “Dost dostun canını alır mı?” deyince; “Ya İbrahim bu hususu Allaha arz edeyim, ne buyurursa sana bildireyim” buyurdu. Azrail gidip hemen geldi. Allah; “Dost dosta kavuşmak istemez mi?” buyurdu dedi. İbrahim bunu işitince; “Çabuk gel kardeşim, hemen canımı canana kavuştur, benim için bundan büyük müjde olamaz” buyurdu. Bunun üzerine Azrail mübarek ruhunu kabzetti.
İbrahim Kudüs civarında Habrun kasabasında bir mağaraya defnedilmiştir. Bu kasaba, İbrahim ın Halil (Allahın dostu) ismine izafeten Halilürrahman ismiyle meşhurdur. Bu beldede; Lut, İshak ve Yakubun ve daha pek çok peygamberin kabrinin bulunduğu rivayet edilmiştir. Müslüman hükümdarlar orada bulunan mescidleri ve türbeleri kendi devirlerinde tamir ettirmişlerdir. Halilürrahmandaki mescid ve türbeleri ise son olarak, Osmanlı Sultanı ikinci Abdülhamid Han tamir ettirmiştir.