İmamın hapsedilmesinin sebebini daha önce belirtmiştik. Ölümü hakkında farklı rivayetler vardır. Mervanın Onu Harranda hapsettiği de söylenir. Mervan, Said bin Hişam bin Abdülmelik ile oğulları Osman ve Mervanı, Abdullah bin Ömer bin Abdülazizi, Abbas bin Velid bin Abdülmeliki, Ebu Muhammed es-Süfyaniyi de Aynı şekilde hapsetmişti.
Harrandaki veba salgımnda Abbas bin Velid, ibrahim bin Muhammed ve Abdullah bin Ömer öldüler.
Mervanın Zabda yenilmesinden önce Said bin Hişam ve amcasının oğlu yanındakilerle birlikte hapishane bekçisini öldürerek kaçtılar, ancak Harranlılar ve ayak takırın onları öldürdüler. Harranlıların Öldürdüğü kişiler arasında Şurabil bin Mesleme bin Abdülmelik, Abdülmelik bin Bişr et-Tağlebi ve dördüncü Ermeni patriği Kuşan da vardı. Ebu Muhammed es-Süfyani kaçmayıp hapishanede kalrınştı. yanında hapisten kaçmayı kabul etmeyen diğer bazı kişiler de vardı. Mervan Zabdan yenik olarak döndükten sonra onları serbest bıraktı.
Mervanın ibrahimi içinde bulunduğu evi yıkmak suretiyle öldürdüğü de söylenir.
Başka bir rivayete göre, Şurabil bin Mesleme bin Abdülmelik hapiste ibrahim ile beraberdi. Birbirlerini ziyaret ederlerdi, aralarında sıkı bir dostluk vardı. Bir gün Şurabil ibrahime süt gönderdi. Sütü getiren: “Kardeşin bu sütü içtiğini ve çok beğendiğini söyledi ve senin de içmen için gönderdi.” dedi. ibrahim o sütü içince vücudunu bir kırgınlık ve halsizlik sardı. O gün de Onun Şurahili mutat olarak ziyaret ettiği günlerdendi. Gecikince Şurabil haber gönderip durumu öğrenmek istedi. ibrahim: “Bugün bana gönderdiğin sütü içince ishal oldum.” diye haber gönderdi. Şurabil yanına gelip: “Allaha yemin ederim; bu gün ne süt içtim, ne de sana süt gönderdim. Biz Allaha aidiz ve yine Ona döneceğiz. Sana hile yaptılar.” dedi. ibrahim o gece sabaha karşı öldü. ibrahim bin Herseme Onun için şu mersiyeyi söylemiştir:
Kendimi kuzusu ölmüş koyun gibi hissediyorum; içinde dinin ismeti bulunan Harrandaki bir kaNr beni perişan etti.
Orada insanların en hayırlısı olan imam tahtalar, taşlar ve toprak içindedir.
Orada ölümü herkes için musibet olan imam yatmaktadır; fakir, zengin herkesi öksüz bırakıp gitmiş olarak.
Allah Mervanın zulmünü affetmesin; bu duaya amin diyenleri affetsin.
ibrahim faziletli, şerefli, cömert bir zattı. Medineye geldiğinde halka bol miktarda mal dağıtmıştı. Abdullah bin Hasana beş yüz dinar, Cafer bin Muhammede bin dinar, Alevnere de çeşitli mallar göndermişti. Hüseyin bin Zeyd bin Ali küçükken yanına gelmiş, Onu kucağına oturtup kim olduğunu sormuş, kendisini tamtınca o kadar çok ağlamış ki, elbisesi ıslanmış ve kahyasına ne kadar parası varsa hepsini Hüseyine vermesini emretmişti. Kahya dört yüz dinar getirmiş, bu paranın hepsini Ona verip: “Yanımda daha fazla olsaydı onları da verirdim.” diye mazeret beyan etmişti. Ayrıca Onunla beraber, annesi Ray ta binti Abdülmelik bin Muhammed bin EI-Hanefiyyeye kölelerinden birini yollamış ve özür dilemişti.
82 yılında doğmuştu, annesi Selma isimli Ümmü Veled bir Berberi idi. Onun ölümünün Mervanın yenilgisinden önce anlatılması gerekirdi, fakat hadiselerin arasındaki zaman zincirini bozmamak için böyle yapmak zorunda kaldık.