Peygamber efendimiz Medineyi teşrif ettiklerinde ilk iş olarak Eshabını yetiştirecek, cemaatla namaz kılacak bir mescidin yapılmasını arzu ediyorlardı. Bu sırada Cebrail gelip: “Ya Resulallah! Allah sana, kendisi için taştan ve kerpiçten bir beyt (mescit) yapmanı emrediyor” dedi. Habib-i ekrem efendimiz, hemen devesi Kusvanın Medineye geldiklerinde çöktüğü yeri sahiplerinden satın almak istediler. Sahipleri; “Ya Resulallah! Biz, onun bedelini ancak cenab-ı Haktan bekleriz. Orayı size, Allah rızası için hediye ederiz” diyerek bağışlamayı çok arzu ettiler. Buna rağmen Efendimiz kabul buyurmayıp, fazlasıyla ücretini ödediler. Bir taraftan arsanın tesviyesi yapılıp düzeltilirken, diğer yandan kerpiçler kesiliyor ve taşlar çekiliyordu. Nihayet her hazırlık yapıldıktan sonra temel atılmak üzere toplanıldı. Temele ilk taşı, Muhammed Mustafa sallAllah aleyhi ve sellem efendimiz, mübarek elleriyle koydular. Sonra sıra ile; “Ebu Bekr, taşını, benim taşımın yanına koysun! Ömer, taşını Ebu Bekrin taşının yanına koysun! Osman, taşını, Ömerin taşının yanına koysun! Ali, taşını Osmanın taşının yanına koysun” buyurdular. Emirleri yerine geldikten sonra oradaki Eshab-ı kiramına; “Siz de taşlarınızı koyunuz” buyurdular. Onlar da koymaya başladılar.
Mescidin yapılmasında, başta sevgili Peygamberimiz olmak üzere bütün Eshab-ı kiram durmadan dinlenmeden çalıştılar. Mübarek sırtlarında taş ve kerpiç taşıdılar. Taş ile temeli bir buçuk metre yükseltip, üzerini kerpiçle ördüler. Resulallah efendimiz bir gün, kerpiç yüklenmiş götürüyordu. Eshabından biri huzur-ı şerifine varıp, fevkalade bir edeble; “Ya Resulallah! Kerpici benim taşımama müsade eder misiniz?” dedi. Hatem-ül-enbiya efendimiz, ona, daha büyük bir nezaketle, kendisinin sevab kazanmaya daha çok muhtaç olduğunu bildirip kerpici vermediler. Onun da gidip taş getirmesini tavsiye buyurdular.
Mescid-i Nebinin inşasında en çok çalışanlardan biri de Resulallah efendimizdi. En ağır kayaları yüklenerek, mübarek göğüsleri darala darala ustaların yanına götürürlerdi. Bu taşları ve kerpiçleri taşırken yapılan işin kıymetini, kavuşulacak nimetleri müjdeleyerek Eshabını gayrete getirirdi. Efendimizin bu gayretini gören müslümanlar, büyük bir aşkla çalışıyorlardı. Hatta Ammar bin Yaser , herkes birer kerpiç taşırken, o; birini Peygamber efendimiz, birini de kendisi için olmak üzere iki kerpiç götürürdü. Bu hali Resulallah efendimiz gördüklerinde, yanına vardılar. Mübarek elleri ile Ammarın arkasını sığayıp; “Ey Sümeyyenin oğlu! Senin iki, başkalarının bir ecri var” buyurdular.
Mescidin duvarları kısa zamanda bitirildi ve üzeri örtüldü. Ayrıca mescide bitişik, Resulallah efendimiz için kerpiçten iki oda yapıldı. Bunların üzerleri de hurma kütüğü ve dalları ile örtüldü. (Bu odalar zamanla dokuza kadar çoğaltıldı.) Mescidin inşası bittikten sonra, Peygamber efendimiz, Halid bin Zeydin evinden, kendisi için yapılan eve taşındılar.