Халиф Омар был смертельно ранен в 644 году одним рабом, персидским христианином. В то время юная мусульманская империя простиралась от Аравии на юге до Турции и Армении на севере, Ирана на востоке и Ливии на западе. За следующие шесть лет была покорена Северная Африка до самого Атлантического побережья. В итоге множество христианских общин римского периода постепенно перешло в ислам, за исключением существующей и по сей день Коптской церкви.
Перед своей смертью Омар назначил совет из шести мусульманских вождей, который должен был избрать его преемника. Али вновь остался не у дел, и третьим халифом стал Осман. Во время его правления вследствие политических и экономических конфликтов, новых для мусульманского государства, разрослись внутренние раздоры. Политические назначения и распределение земель, производимое Османом, вызвали межплеменные разногласия. Агрессивная экспансия ислама шла на убыль, вследствие чего без работы и должностей осталось множество военных. Этой возможностью воспользовались шииты, начавшие вербовку сторонников среди недовольных. В 656 году Осман был убит группой мятежников из числа арабских военных. Мусульмане наконец всё-таки не удержались от пролития мусульманской крови. Краткий период единства, установившегося после провозглашения новой религии, навсегда канул в Лету.
Шииты утверждали, что исламская община пошла по неверному пути, сосредоточив свои усилия на создании империи. Они заявляли, что необходимо вернуться к истинному учению Пророка. По их убеждению, единственное средство, которое обеспечит это возвращение, заключалось в наследовании власти в кругу родственников Пророка, без которого нельзя рассчитывать на исполнении духовной миссии ислама. Они обвиняли первых трёх халифов в отступничестве. Позднее это обвинение вызовет сильную враждебность со стороны суннитов. По словам шиитов, два десятилетия, прошедшие со времени смерти Пророка, со всей суровой очевидностью показали правоту шиитских воззрений на необходимость формальной связи между божественной мудростью и религиозной властью.
В 656 году халифом наконец был избран Али, ставший четвёртым преемником Мухаммеда. Его правление ознаменовалось серьёзными беспорядками и первой гражданской войной. Алиша, вдова Пророка, издавна питала ненависть к Али{10}
. К Алише присоединились два влиятельных Товарища Пророка, Зубейр и Талха. Три мятежных вождя собрали армию в Ираке, но были разбиты войсками Али. Зубейр и Талха были убиты в сражении, и Алиша была вынуждена вернуться в Медину.Двоюродный брат Османа, Муавия, правитель Сирии, отказался признать Али халифом и в 657 году объявил ему войну, выставляя в качестве предлога желание отомстить за смерть Османа. Войска Али уже почти одержали победу, когда воины Муавии подняли на копьях страницы Корана, показывая, что они хотят не битвы, а выяснения истины. Воины Али отказались продолжать битву. В последовавших переговорах представители Али поддались на уловку Муавии. Было решено назначить новые выборы халифа и объявить, что Али готов сложить свои полномочия, чтобы провести выборы. Сторонники Муавии воспользовались этой возможностью, чтобы провозгласить Муавию халифом ввиду отречения Али. Ислам оказался расколот на халифаты Муавии и Али. В 661 году Али был убит в Ираке, где он устроил свою столицу. После смерти его значение только возросло. Он считается мучеником и уступает святостью в глазах шиитов только Пророку.
Наследником Али стал его распутный сын Хасан, отрёкшийся от престола в пользу Муавии за крупную сумму денег. (Хасан был убит одной из своих жён в 669 году.) Муавия сделал своей столицей Дамаск и положил начало династии Омейядов, правившей мусульманами на протяжении ста лет. Муавия ввёл обычай проклинать Али с кафедры во время пятничной молитвы, который стал первым примером проявления официальной антишиитской политики со стороны суннитов.
Хусейн, младший сын Али и Фатимы, получил предложение стать во главе шиитов. Он ответил, что до смерти Муавии связан условиями, заключёнными при отречении его брата. В 680 году Муавия умер, передав власть своему сыну Йезиду. Вскоре после этого Хусейн предъявил свои права на халифат в качестве законного преемника Али. В 680 году Йезид с четырёхтысячным войском напал на Хусейна и небольшую группу его приближённых у Кербелы. В бою погибли и Хусейн, и все семьдесят человек его свиты. Его тело было предано поруганию. Убийцы пощадили только женщин и детей. Среди чудесным образом спасшихся от истребления был и сын Хусейна, Али. Мальчик лежал больным в шатре несколько в стороне от остальной группы.