Смерть Язида и внезапный вывод сирийских войск с арабской земли повысили шансы ибн аз-Зубайра. После этого его провозгласили халифом не только в его родном Хиджазе, но и в Ираке, в Южной Аравии и даже в некоторых частях Сирии. В Ираке он поставил своим наместником брата Мусаба. В Сирии временным правителем назначил ад-Даххака ибн Кайса аль-Фихри, вождя партии кайситов (северноаравийцев), с самого начала настроенной против Омейядов. Йемениты (южноаравийцы), в том числе кальбиты, объединились в поддержке престарелого законного халифа Марвана ибн аль-Хакама и нанесли сокрушительное поражение ад-Даххаку и его сторонникам. Это произошло в июле 684 года у Марджа-Рахита, на равнине к северо-востоку от Дамаска. Мардж-Рахит стал еще одним Сиффином для Омейядов. Это событие ознаменовало конец третьей гражданской войны в исламе, которая, как и вторая – между Муавией и Али, была войной династий. Что же касается внутренней вражды между кайситами, представляющими новых эмигрантов из Северной Аравии, и кальбитами, упорными приверженцами Омейядов, то она затянулась и в конечном итоге ускорила падение династии. Партии кайситов и йеменитов фигурировали даже в современной политике Ливана и Сирии.
В результате разгрома противников в Сирии Омейяды сумели ампутировать конечность, но голова в Хиджазе все еще оставалась живой. Там «антихалифат» Ибн аз-Зубайра продолжал существовать до тех пор, пока сын и преемник Марвана Абдул-Малик не послал против него своего железного полководца аль-Хаджжаджа ибн Юсуфа, когда-то школьного учителя в Таифе. Аль-Хаджжадж принадлежал к тому же племени такиф, что и аль-Мугира. Тогда ему шел тридцать второй год. Его армия насчитывала 20 тысяч человек. В течение шести с половиной месяцев, начиная с 25 марта 692 года, аль-Хаджжадж вел осаду Мекки. Он колебался не более, чем Хусейн, перед тем, как действенно применить свои катапульты против Священного города. Вдохновляемый героическими наставлениями своей матери Асмы, дочери Абу Бакра и сестры Аиши, Ибн аз-Зубайр сражался отважно, но без надежды на успех. В конце концов его убили. Голову отправили в Дамаск, а туловище, подвешенное вверх ногами на кресте, доставили к его матери. Это первый раз, когда мы слышим о распятии в исламе.
Со смертью Ибн аз-Зубайра ушел последний поборник первозданного ислама. Усман был отомщен. Сила ансаров («помощников») была сломлена навсегда. В исламе надежно установилась новая ориентация; политическое в государственной власти получило почти полное господство над религиозным. Отныне Мекка и Медина отошли на второй план, и история Аравии начинает все больше затрагивать влияние внешнего мира на полуостров, нежели влияние полуострова на внешний мир. Изолированная родина исчерпала себя.
Абдул-Малик передал управление Хиджазом в руки аль-Хаджжаджа. На этом посту он продержался несколько лет, в течение которых усмирил не только этот регион, но и Йемен и Ямаму на Востоке. В 694 году на него была возложена столь же, если не более, сложная задача по управлению Ираком.
В Ираке по-прежнему кипело недовольство. Тамошние жители были «народом раскола и лицемерия». Помимо бывших сторонников аз-Зубайра и обычных шиитов, там оставались хариджиты и те из приверженцев Алидов, которые после смерти Хусейна провозгласили своим имамом и махди его сводного брата Мухаммеда ибн аль-Ханафию. Этот Мухаммед приходился сыном Али, а имя получил в честь матери. Особенно много неприятностей доставляли хариджиты. Из-за них на Востоке постоянно царила смута. Из Ирака они распространились на Персию, разделились на несколько фанатичных теократических сект, захватили Ахваз и Керман, заняли Рей, осадили Исфахан и оставляли за собой опустошение, где бы ни шли. В Персии они объединились с восстанием мавали («подопечных»), против арабских господ. Это были персы, которые приняли ислам, думая, что в нем все верующие равны, но их постигло разочарование и крушение иллюзий.
Сразу после своего назначения аль-Хаджжадж выступил из Медины с небольшим конным отрядом, пересек пустыню форсированными бросками и прибыл в Куфу инкогнито и без предупреждения. Только забрезжил рассвет, наступило время молитвы. В сопровождении всего лишь двенадцати помощников, с луком на плече и мечом на поясе он вошел в мечеть, снял тяжелый тюрбан, скрывавший его суровое лицо, и произнес пламенную речь, которая с тех пор стала одной из излюбленных и драматичных тем в арабской литературе: