Yahya öldürülüp de babası Zekeriyya Onun öldürüldüğünü duyunca kaçarak Beytül-Makdis yakınlarındaki ağaçlıklı bir bahçeye girip sığındı. Hükümdar arkasından aramak üzere adamlar gönderdi. Zekeriyya bir ağacın yanından geçerken ağaç ona: “Ey Allahın peygamberi! Bana gel.” diye seslendi. Yanına geldiğinde ağaç yarıldı ve Zekeriyya içerisine girdi. Sonra ağaç üzerine kapandı ve ağacın ortasında kaldı. Bu sırada Allahın düşmanı İblis gelip Zekeriyyanın elbisesinin ucundan tuttu ve bu kısmı ağacın dışında bıraktı. Onun böyle yapmaktan maksadı ise, Zekeriyyayı haber verdiği zaman kendisini tasdik etmelerini sağlamaktı. Daha sonra İblis Zekeriyyayı arayanları karşıladı ve durumu haber verdi. Fakat önce onlara: “Ne arıyorsunuz?” diye sordu. Onlar: “Zekeriyyayı arıyoruz.” dediler. Bunun üzerine İblis: “Zekeriyya, şu ağaca bir büyü yaptı, ağaç yarıldı, o da içine girdi.” dedi. “Sana inanmıyoruz.” dediler. Bu sefer İblis: “Benim bir işaretim var, onu görünce beni tasdik edersiniz.” dedi ve Zekeriyyanın dışarıda kalan elbisesinin ucunu gösterdi. Bunun üzerine ellerine baltaları alıp ağacı devirdiler, sonra ağacı ortasından testere ile biçtiler. Böylece Zekeriyya ağacın içerisinde iken öldürüldü. Bunun üzerine Allah yeryüzünün en kötü insanlarını onların üzerine musallat etti ve onlardan bunlar vasıtasıyla intikam aldı.
Rivayet edildiğine göre, Zekeriyyanın öldürülmesinin sebebi şu idi: İblis, İsrailoğullarının sohbet meclislerine gelip Zekeriyyaya Meryem ile ilgili olarak iftirada bulundu ve onlara: “Meryemin yanına girip çıkan kişi sadece odur. Ondan başkası onu hamile bırakmamıştır.” dedi. Bunun üzerine İsrailoğulları onu aramağa başladılar, o da hemen kaçtı. Daha sonra bu rivayette, az önce zikrettiğimiz şeylere yakın ifadelerle, onun ağacın içerisine girmesinden bahsedildi.