Ömer, Ammar bin Yasiri Küfe Valiliğinden azledip yerine Ebü Musayı tayin etmişti. Ammar bin Yasirin valilikten azledilmesinin sebebi şu idi: Kufe halkı Onu Ömere şikayet etmiş, içinde bulunduğu durumu değerlendirmediğini ve emin olmadığını, hırslı olduğunu, söylemişlerdi. Bunun üzerine Ömer, Ammarı Medineye çağırmış, Ammarla birlikte kendisine en çok muhalefet edenlerden bir grup da Medineye çıkıp gelmiş ve Ömere şunları söylemişti: “O öyle bir görev için tam yetenekli ve yeterli değildir. Getirdiğin makama ve verdiğin emirlere tam riayet eden ve bu konuda yönetimde ve siyasette tam bir bilgiye sahip olan bir kişi de değildir.” Bu gelenler arasında Muhtarın amcası olan Saad bin Mesud es-Sakafi ve Cerir bin Abdullah da bulunuyordu. Bunlar da aynı şekilde Ammar bin Yasirin aleyhinde idiler. Bundan dolayı Ömer Onu azledip de: “Azledilmen seni üzdü mü?” diye sorunca Ammar: “Tayin edildiğim zaman kesinlikle sevinmemiştim, fakat azledilince biraz üzüldüm” diye cevap verdi. Bunun üzerine Ömer: “Senin bu işin ehli olmadığını anlamıştım, fakat yine de iyi niyetle davrandın” diye karşılık verdi.
Yeryüzünde mustazaf olan kimselere Lutfedelim diye arzu ettik.
Onları önderler yapalım, onları (ötekilerin mülküne) mirasçı kılalım. (Kasas 5)
Bu olaylardan sonra Ömer Küfeye varıp onlara: “Ne istiyorsunuz?” diye sormuştu. Kufeliler de Ebu Mlisayı istiyoruz,” deyince, Ömer Ebu Mlisayı Ammardan sonra buraya vali olarak tayin etmişti. Ebu Musa burada bir yıla yakın görev yapmış bulunuyordu. Bir ara kölesi bir miktar yem satınca, Velid bin Abdu Şems ile birlikte bir cemaat onu şikayet ederek: “Ebu Musanın kölesi bizim bölgemizde ticaret yapıyor,” diye söylemişlerdi. Bunun üzerine Ömer Onu görevinden azledip Basraya göndermiş ve ayrıca, ibn Sürakayı da el-Cezıreye tayin etmişti.
Ömer bir gün mescidin bir köşesine çekilmiş, orada uyuyuvermişti.
Bu arada, Muğıre bin Şube gelip Onun yanıbaşında uyanıncaya kadar beklemiş ve Halife uyandığında: “Ey emirül-mümillin! Bunu sırf tazim için yaptım” demiş, Ömer de: “Yüz bin dirhemden daha büyük bir şeyolabilir mi? Hala ne para ne de emir beğeniyorlar? Ve onlardan da bir emir razı olmuyor” diye karşılık vermişti. Kufe o sırada yüz bin savaşçıyı ihtiva etmekteydi. Bu arada arkadaşları gelip: “Neyin var?” diye sormuşlar, O da: “Küfeliler beni bir hayli müşkül bir duruma soktular” diye cevap vermiş ve onlara kimi vali tayin etmesi gerektiği konusunda istişare etmişti: “Ne dersiniz? Oraya zayıf bir Müslüman mı yoksa güçlü kuvvetli ve olaylara el koyabilecek bir adam mı tayin edelim?” Muğire bin Şube Ona: “Müslüman, muttaki bir kimsenin Müslümanlığı ve takvası kendisinedir, fakat zayıflığı ve getireceği idare yükü de senin sırtınadır. Fakat güçlü bir kimsenin yönetimi kendisinin ve bu güçlü yönetimi de Müslümanların malıdır,” deyince, Ömer, Muğire bin Şubeyi Kufeye vali olarak tayin etmiş, Ömerin vefatına kadar Muğire burada kalmıştı. Ömer Muğireyi Kufeye tayin edince Ona: “Ey Muğire! iyiler seni aldatmasın, kötüler de seni korkutmasın” diye tavsiyede bulunmuştu. Ömer Muğirenin yaptıklarını kontrol etmek üzere oraya Saad bin Ebi Vakkası göndermek istemiş, fakat o sırada şehit edilince, bu görevin yerine getirilmesi için vasiyette bulunmuştu.