Rivayet olunduğuna göre, bundan sonra Allah İbrahime Kabeyi inşa etmesini emretti. Fakat İbrahim Kabenin inşa edileceği yer hususunda sıkıntıya düştü. Bunun üzerine Allah rehberlik etmesi için ona Sekine denilen, kıvrıla kıvrıla hareket eden ve yumuşak esen iki başlı bir rüzgar gönderdi. İbrahim Sekine ile birlikte hareket etti. Sekine bugünkü Kabenin bulunduğu yere gelince kalkan (veya yılan) gibi kıvrılıp, durdu. Bunun üzerine İbrahime, Sekinenin gelip durduğu yere Kabeyi inşa etmesi emredildi. O da bu emre uyarak Kabeyi buraya inşa etti.
Diğer rivayette ise Allah İbrahime insan başı gibi başı olan ve buluta benzeyen bir varlık gönderdi ve o İbrahime hitaben: “Ey İbrahim! Kabeyi benim büyüklüğüm veya gölgemin çevrelediği kadar yap, fazla veya eksik yapma.” dedi. İbrahim de onun talimatına uygun bir vaziyette Kabeyi yaptı. Bu iki görüş Aliden nakledilmiştir. Süddi ise İbrahime Kabenin yerini gösterenin Cebrail olduğunu söylemektedir.
İbrahim Mekkeye hareket etti ve buraya geldiğinde oğlu İsmaili buldu. İsmail ise Zemzem kuyusunun arkasında oklarını düzeltmekle meşgul idi. İbrahim oğlu İsmaile hitaben: “Ey İsmail! Allah bana kendisi için bir ev (mabed) yapmamı emretti.” dedi. İsmail de babasına: “Rabbine itaat et.” dedi. İbrahim oğlu İsmaile: “Rabbim senin bana yardım etmeni emretti.” dedi. İsmail: “o halde bu emri derhal yerine getiririm.” karşılığını verdi. Bunun üzerine İsmail kalkıp işbaşına geldi. İbrahim Kabenin temelini yükseltirken oğlu İsmail de kendisine taş veriyordu. Bu arada İbrahim oğlu İsmaile: “Bana öyle güzel bir taş bulup getir, ben onu insanlara bir işaret olsun diye Rüknün üzerine koyacağım.” dedi. Bu esnada Ebu Kubeys Dağı İbrahime: “Bende bir emaniz (Hacerul-esved) var, gelin alın.” diye seslendi. Bir rivayete göre Hacerul-esvedi İbrahime haber veren Cebrail idi. Neticede İbrahim Hacerul-esvedi alıp yerine koydu.
İbrahim ile oğlu İsmail Kabenin inşasını sürdürürken: Ey Rabbimiz! Bizden kabul buyur, sen işiten ve bilensin. (Bakara 127) diye Allaha yalvarıyorlardı.
Kabenin yapısı yükselince, yaşı ilerlemiş olan İbrahim taşları kaldıramaz olmuştu. Bu sebepten bugün Makam-ı İbrahim denilen taşın üzerine basarak taşları alıp inşaata devam ediyordu. Nihayet İbrahim Kabeyi tamamlayıp bitirince Allah ona insanları hacca çağırmasını emretti. Bunun üzerine İbrahim: “Ey Rabbim! Ben sesimi onlara duyuramam.” dedi. Allah ona: “Sen onları hacca çağır, sesini onlara duyurmak bize aittir.” buyurdu. Bu durum karşısında İbrahim: “Ey insanlar! Allah size Beytül-atika (Kabeye) gidip hac yapmanızı farz kıldı” diye seslendi. İbrahimin bu sesini yer ile gök arasında bulunan her şey, hatta babaların sulbünde, analarının rahminde bulunan herkes duydu. Neticede İman edip de kıyamete kadar Allahın ilminde hac yapmaları tespit edilen kimseler bu sese icabet ettiler ve: “Ey Rabbimiz! Samimiyet ve imanla bu davetini kabul ediyoruz.” dediler.
Bundan sonra İbrahim oğlu İsmail ve diğer Müslümanlar ile birlikte Terviye (Zilhiccenin yirmi sekizinci günü) Minaya gelip konakladı ve onlara öğle, ikindi, akşam ve yatsı namazlarını kıldırdı. Geceyi Minada geçiren İbrahim onlara sabah namazını kıldırdıktan sonra Arafata hareket etti ve onlarla birlikte bir müddet burada kaldı. Güneş batı tarafına meyledince (yani zeval vaktinden sonra) öğle ve ikindi namazlarını birleştirerek kıldıktan sonra onlarla beraber bugün imamın durmuş olduğu Arafattaki vakfe yerine geldi ve Erak denilen yerin üzerinde durdu. Güneş batınca İbrahim ve beraberindeki hacılar oradan kalkarak Müzdelifeye geldiler. İbrahim burada onlara akşam ve yatsı namazlarını birleştirerek kıldırdı. Sonra İbrahim ve beraberindekiler geceyi burada geçirdiler. Tan yeri ağardıktan sonra onlarla birlikte sabah namazını kıldı ve ortalık aydınlanıncaya kadar Kuzah denilen yerde bekledi. Bundan sonra İbrahim beraberindeki Müslümanlarla birlikte oradan ayrıldı ve onlara şeytanın nasıl taşlanacağına kadar olan hac ile ilgili hususları bir bir gösterip öğretti, hatta onlara kurban kesilen yeri de gösterdi. Bu işlerden sonra bizzat kendisi kurban kesip tıraş oldu ve tavafın nasıl yapılacağını da onlara gösterdi. Bundan sonra şeytanın nasıl taşlandığını göstermek için Minaya döndü. İşte böylece hac işlerini bitirip tamamlamış oldu.
Peygamberden rivayet edilen bir hadiste; Haccın nasıl yapılacağını İbrahime kılavuzluk edip bildirenin Cebrail olduğu haber verilmektedir. Ayrıca bu hadisi İbn Ömer de Peygamberden rivayet etmiştir.
İbrahim tarafından inşa edilen Kabe, ilerde de bahsedeceğimiz üzere Peygamberin doğumundan otuz beş sene sonra Kureyş tarafından yıkılmasına kadar devam etmiştir.