Ömer Müslüman olmadan önce Mazunun kızı Zeynep ile evlenmişti. Mazunun babası Habib, Onun babası Vehb, Onun babası Huzafe onun da babası Cumah idi. Zeynep; Abdullah, büyük Abdurrahman ve Hafsayı doğurmuştu. Daha sonra Ömer Müleyke binti Cerval el-Huzai ile evlenmişti. Ömerin bu hanımından da Ubeydullah bin Ömer dünyaya gelmişti. Ömer daha sonra bu hanımından ayrılmış, o da Ebu Cehm bin Huzeyfe ile evlenmişti. Ömerin oğlu Ubeydullah Sıffin Savaşında Muaviye ile birlikte olduğu sırada öldürülmüştü. Başka bir rivayete göre Ubeydullahın annesinin küçük Zeydin de annesi olan Ümmü Gülsüm binti Cerval el-Huzai olduğu kaydedilir. Ömer Müslüman olduktan sonra bu hanımından ayrılmıştır. Daha sonra Ömer Kureybe binti Ebi Umeyye el-Mahzumi ile cahiliye döneminde evlenmiştir. aynı şekilde bundan da islamdan sonra sulh yoluyla ayrılmıştı. Bu hanım daha sonra Abdurrahman bin Ebi Bekir ile evlenmiştir. Böylelikle Ömer ve Abdurrahman bin Ebi Bekir Resulallahın iki bacanağı idiler. Çünkü Kureybe Resulallahın hanımı Ümmü Selemenin kız kardeşi idi. Ömer ayrıca Müslüman olduktan sonra Ümmü Hakim binti el-Hars bin Hişam el-Mahzumi ile evlenmiştir. Bu hanımından Fatıma adlı bir kızı dünyaya geldikten sonra Ondan boşanmıştı. Fakat diğer bir rivayette boşanmadığı kaydedilir. Ömer Müslüman olduktan sonra Asım bin Sabit bin Ebi Aklah el-Evsi elEnsarinin kız kardeşi Cemile ile evlenmiş ve Asım adlı bir oğlu dünyaya gelmiştir. Sonra Onu da boşamıştı. Daha sonra Ali bin Ebi Talibin kızı Ümmü Külsum ile evlenmiştir. Ümmü Gülsüm Resulallahın kızı Fatımanın kızı idi. Ömer Ümmü Külsume kırk bin dirhem mehir vermişti. Rukiyye ve Zeyd adlı çocukları da Ümmü Külsümden dünyaya gelmişlerdi. Daha sonra Yemenli bir kadın olan Lüheyye ile evlenmiş ve Ondan da ortanca -başka bir rivayete göre küçük- Abdurrahman doğmuştu. Bir rivayete göre ise bu hanımın cariye olup daha sonra Ümmül-veled olduğu kaydedilir. Ayrıca Huzeyfe adında bir Ümmül-veledi vardı ki Ondan çocuklarının en küçüğü Zeynep dünyaya gelmişti. Ayrıca Atike binti Zeyd bin Amr bin Nüfeyl ile de evlenmiş bulunuyordu. Bu kadın daha önce Abdullah bin Ebi Bekir es-Sıddıkin hanımı idi. O öldürüldükten sonra Ömer bu kadınla evlenmişti. Şehit edildikten sonra bu hanım, Zübeyr bin Avvam ile evlenmiş, O da aynı şekilde vefat ettiğinde Ali bu kadını istemiş, Onun bu isteğini reddetmiş ve şöyle demişti: “Senin de öldürülmenden korkuyorum, onun için bu isteğini kabul edemem.” Bunun üzerine Ali de Onunla evlenmekten vazgeçmişti.
Ömer, Ayşe aracılığı ile Ebu Bekirin kızı Ümmü Külsumü istetmiş, fakat Ümmü Külsum: “Onu istemiyorum, o son derece kaba ve kadınlara şiddetle davranan biridir” demişti. Bunun üzerine Ayşe durumu Amr bin el-Assa bildirip Ömere göndermiş, Amr bin el-Ass: “Ben bu işi hallederim” deyip Ömere gelmiş ve şöyle demişti: “Ondan Allaha sığınacağın bir haber ulaştı bana.” Ömer: “Nedir o?” deyince: “Ebu Bekirin kızı Ümmü Külsumü istetmiştin.” diye cevap vermiş, Ömer de: “Evet, yoksa beni Ona ve Onu bana layık görmedin mi?” diye sorunca, Amr:
“Hayır, bunların hiç biri; ancak o emirul-müminin Ebu Bekirin terbiyesi altında gayet yumuşak ve tatlılıkla büyümüş bir kızdır, halbuki sen gayet sert bir kimsesin. Biz herhangi bir davranışın ve huyuna karşı seni reddetmekten korkuyor iken, o nazik kızcağız senin bu huyuna karşı nasıl tahammül edebilecek? O, sana bir konuda muhalefet ettiği zaman sen Ebu Bekirin halefi olarak Onun çocuğuna nasıl sertçe davranacaksın? Bu sana yakışır mı?” demiş, bunun üzerine Ömer: “Ayşe ile bu durumu konuşmuştum, Onun görüşü. nedir?” diye sormuş, Amr bin el-Ass da: “Beni sana elçi olarak O gönderdi, ancak sana ondan daha hayırlısını ve iyisini tavsiye edeyim ki o da Resulallahın nesebiyle bir bağ kurabileceğin Ali bin Ebi Talibin kızı Ümmü Külsumdur.” diye cevap yermişti. Daha sonra Ümmü Eban binti Utbe bin Rabiayı istetmişti. Fakat bu kadın Ömerden gayet sıkılmış olarak: “O kapısını kapatır, başkasına iyiliği dokunmaz. Yüzü, suratı asık olarak çıkar ve aynı şekilde yüzü asık olarak geri gelir” demişti.