Yakub , oğlu Yusufa kavuştuktan sonra, Mısırda oğullarıyla birlikte on seneden fazla yaşadı. İyice ihtiyarlayıp vefatı yaklaşınca oğullarını başına toplayıp şu vasiyette bulundu; “Ey oğullarım! Muhakkak ki Allah sizin için tevhid (tek Allaha inanma) ve adaleti emreden İslam dinini seçti. Siz, ölüm gelmeden önce, Allaha ibadet ediniz. İbadetlerinizde ihlas ve huşu üzere olunuz. Hayatınız boyunca bu dinden uzaklaşmayınız, yoksa helak olursunuz.”
Oğullarından bu hususta söz almak isteyip; “Ey oğullarım! Benim ölümümden sonra neye ibadet edeceksiniz?” diye sordu. Oğulları da; “Ey babamız! Senin ve babaların İbrahimin, İsmailin ve İshakın ibadet ettiği tek olan Allaha, şimdi olduğu gibi gelecekte de ibadet edeceğiz. Biz Ona teslim olmuşuzdur.” diyerek söz verdiler.
Bu husus Bakara suresi 132 ve 133. ayet-i kerimelerinde mealen, “İbrahim bunu oğullarına da tavsiye etti. Yakup da öyle yaptı. “Ey oğullarım! Allah sizin için İslam dinini beğenip seçti, O halde siz de (başka değil) ancak müslüman olarak can verin” (dedi). Yoksa (Ey yahudiler), ölüm Yakubun önüne geldiği zaman siz de orada hazır mı idiniz? (Hayır) o, oğullarına; “Benden (ölümümden) sonra neye ibadet edeceksiniz?” dediği zaman onlar; “Senin mabuduna ve babaların İbrahimin, İsmailin, İshakın bir tek olan Allahına ibadet edeceğiz. Biz ona teslim olmuşuzdur” demişlerdi.” buyrularak haber verilmektedir.
Yakub ın ölüm vakti gelince, melekler de gelip hazır oldular. Yakup a Cennetteki makamlarını ve çeşit çeşit örtüleriyle örtülmüş olan kabrini gösterdiler. Bunun üzerine meleklere; “Bu kabir kimin içindir?” diye sordu. Melekler de; “Rabbinin yanında çok kıymetli olan bir kimseye aittir” dediler. Yakup meleklere; “Siz kimsiniz?” diye sorunca; “Biz Rabbimizin melekleriyiz” diye cevap verdiler.
Yakub kabre baktığı zaman, orada minberler üzerinde güzel ve nur yüzlü kimseler gördü. Meleklere; “Bu minberler üzerinde bulunan nur yüzlü kimseler kimlerdir?” diye sorunca; “Onlar Allahın halili olan İbrahim ın torunlarıdır” cevabını verdiler.
Yakub onların arasına girmeyi arzu ettiği zaman melekler; “Onların yanına ancak şu bardaktan içenler girebilir” dediler. Yakuba bir bardak su verdiler. Yakup , o bardaktan içmeğe başlayınca vefat etti. Oğulları, cenaze namazını kıldılar. Vasiyeti üzerine Kudüs yakınlarındaki Halilürrahmanda bulunan babası İshak ın yanına defnedildi. Rivayete göre burada dört kabir mevcuttur. Bunlar; İbrahim a, Sare validemize, İshak a ve Yakup a aittir.