Sonra Muaviye b. Ebu Süfyan ve yanındakileri hedefleyerek Şama doğru yöneldi. Bu haber Muaviyeye ulaştı ve o da Şam ahalisinden yanındakilerle beraber yola çıktı. Hicri 37. senede Safer ayında Sıffinde karşılaştılar, günlerce savaştılar. Sıffinde Ammar b. Yasir, Huzeyme b. Sabit ve Ebu Amre el-Mazini öldürüldü. Bunlar Ali ile beraberdiler. Şam halkı, içindeki hükümlere davet etmek üzere mushafları yukarı kaldırdı. Bu, Amr b. el-asın, yanında olduğu Muaviyeye gösterdiği bir hileydi. Bunun üzerine insanlar savaşmak istemedi ve birbirlerini barışa çağırdılar. İki hakem tayin ettiler. Ali, Ebu Musa el-Eşariyi; Muaviye, Amr b. el-ası hakem tayin etti. Yılbaşında Ezruh denilen yerde bir araya gelip bu ümmetin işine bakmak üzere anlaştıkları metni ihtiva eden bir belge yazdılar. Böylece insanlar [iki ordu] ayrıldı. Muaviye, Şam halkıyla birlik-beraberlik içinde döndü. Ali ise ayrılık ve fitne [rüzgarları] ile Kufeye yöneldi. Kendi taraftarlarından olan Hariciler ona karşı isyan ettiler ve dediler ki: “Allahtan başka hiçbir hakem yoktur.” Harura denilen yerde askeri yığınak yaptılar. Bundan dolayı onlara Haruriyye adı verilmiştir. Ali, onların üzerine Abdullah b. Abbas ve bir başkasını gönderdi. Onlarla karşılıklı delil getirerek münakaşa ettiler. Bunun üzerine birçoğu fikrinden döndü. Bir kısmı ise eski görüşlerinde ısrar etti ve Nehrevana doğru yürüdü. Orada yol kesip Abdullah b. Habbab b. el-Ereti öldürdüler. Ali onların üzerine yürüdü ve onlarla Nehrevanda savaştı. Onlardan “Züs-Südeyye” lakaplı şahsı öldürdü. O sırada tarih hicri 38 senesini gösteriyordu. Sonra Ali, Kufeye gitmek üzere oradan ayrıldı. O günden sonra Ali -Allah ona rahmet etsinşehit edilinceye kadar Hariciler ondan devamlı korktular. Hicretin 38. senesinde Şaban ayında halk Ezruhda toplandı. Sad b. Ebu Vakkas, İbn Ömer ve Allah Resulünün ashabından başka bazı kimseler de oraya gelmişti. Amr, Ebu Musaya öncelik tanıdı. O da söz aldı ve Aliyi halifelikten azletti. Hemen arkasından Amr konuştu ve [halife olarak] Muaviyeyi kabul edip biat etti. İnsanlar bu karar üzerine ayrıldılar.