После смерти Харуна тлеющие конфликты прорвались открытой гражданской войной между его сыновьями Аль-Амином и Аль-Мамуном. Аль-Амин был силен в основном в столице и Ираке, Аль-Мамун – в Иране, и некоторые, основываясь на сомнительных данных, истолковывали эту гражданскую войну как национальный конфликт между арабами и персами, закончившийся победой вторых. Но с большей вероятностью это было продолжение социальных столкновений предшествующего периода в сочетании с не национальным, а региональным конфликтом между Ираном и Ираком. Аль-Мамун, которого поддерживали в основном восточные провинции, какое-то время обдумывал перенос столицы из Багдада в хорасанский Мерв. Эта угроза потерять магистральное положение города, да и сами средства к существованию сплотила народ Багдада в яростной защите Аль-Амина от посягательств. Аль-Мамун одержал победу, но мудро оставил Багдад столицей и узловым пунктом великих торговых путей.
После этого честолюбие иранских аристократов и региональные стремления находили выход в местных династиях. В 820 году персидский военачальник на службе у Аль-Мамуна по имени Тахир сумел добиться самостоятельности в Восточном Иране и стал основателем династии наместников, пост которых передавался по наследству в его роду. Другие иранские династии – Саффаридов в 867 году и Саманидов примерно в 892 – вскоре установились в других частях Ирана. Эти местные режимы отличались по характеру. Царство Тахиридов было делом рук честолюбивого полководца, который создал вотчину для самого себя, но в целом оставалось в рамках арабо-исламской цивилизации. Саффариды представляли подъем иранского народного движения, а с Саманидами старая иранская аристократия вернулась к политической власти и полному возвращению былых привилегий.
На западе политический слом начался еще раньше. Перенос столицы на восток привел к тому, что власть сначала потеряла интерес к западным провинциям, а в конечном счете и контроль над ними. Испания в 756 году, Марокко в 788 и Тунис в 800 стали в буквальном смысле независимыми под властью местных династий. Египет отпал в 868 году, когда наместник Ахмед ибн Тулун, тюркский раб, присланный из Багдада, сумел добиться независимости и быстро распространил свою власть и на Сирию. За падением Тулунидов последовало воцарение в Египте другой тюркской династии аналогичного происхождения.
Появление независимого центра в Египте, чья власть часто распространялась на Сирию, создало ничейную землю между Сирией и Ираком и позволило арабским племенам Сирийской пустыни и ее периферии вернуть себе самостоятельность, которую они потеряли после падения Омейядов. Время от времени им удавалось включить в подвластные территории заселенные области Сирии и Месопотамии, захватывая и удерживая города в периоды военной слабости или раздробленности и создавая недолговечные, хотя и блестящие бедуинские династии, как, например, род Хамданидов из Мосула и Алеппо в X веке. Вскоре под непосредственной властью халифа остался только Ирак, а в том, что касалось остальной части империи, ему пришлось довольствоваться редкой данью и номинальным признанием со стороны местных наследственных династий в виде упоминания халифа в пятничной молитве во время посещения мечети и в надписях на монетах.
Пока Багдад сохранял контроль над проходившими через него важнейшими торговыми путями, политический распад не мешал, а, кажется, даже в каком-то смысле помогал расширению экономической и культурной жизни. Но вскоре сложилась более опасная ситуация, авторитет халифа пошел на убыль даже в столице. Роскошь двора и избыточность бюрократии привела к финансовой неразберихе и нехватке денег, которые позже усугубились истощением или утратой источников драгоценных металлов, захваченных врагами.