Известие о поражении Феодора и Ваана деморализующе подействовало на ромейских воинов, собравшихся в Джабии 20 августа 636 г. Некоторое время ромеи и арабы не вступали в битву, т. к. византийские полководцы начали переговоры с противником относительно возможных уступок. Арабы прервали переговоры, когда к ним прибыл с подкреплением Абу-Суфьян, отец Язида, и вступили в сражение. Воодушевленные приходом подкрепления, они бились с отчаянной храбростью. Храбро сражались вместе со своими мужьями мусульманские женщины. Особенно отличилась жена Абу-Суфьяна Хинд. У византийцев, наоборот, деморализованные войска сражались недостаточно энергично, и часть их перешла на сторону арабов, что и обеспечило победу последних. После разгрома ромеев царь гассанидов Джабала также завязал переговоры с халифом Омаром о переходе под его власть, но безуспешно. Причиной того, что соглашение не состоялось, было стремление Джабалы и под властью мусульман сохранить свое особое положение полунезависимого царька, как при византийцах. Он, в частности, ссылаясь на свое арабское происхождение, отказывался платить поголовную подать и соглашался платить садакат, уплачивавшийся мусульманами, оставаясь в то же время христианином. Халиф не согласился на такие условия, и Джабала вернулся к ромеям, уведя с собой, согласно арабским источникам, 30 тыс. всадников. Если учесть, что при Ярмуке под его командой было всего 12 тыс., число 30 тыс. придется признать преувеличенным.
Император Ираклий в это время находился в Антиохии. Узнав о поражении своего войска, он решил, что Сирия теперь для Византии окончательно потеряна, и вскоре уехал в Константинополь, воскликнув при этом, по преданию: «Прощай, Сирия! Какая это прекрасная страна для врага нашего!». Сирийская хроника 1234 г. сохранила известие о том, что император во время своего отъезда разрешил воинам грабить мирное население, т. к. в его глазах Сирия была уже вражеской страной. Такой мерой он, вероятно, стремился удержать на своей стороне те остатки войска, которые еще у него оставались, т. к. не был в состоянии платить им жалованье. Отвоевать Сирию Ираклий уже не надеялся, поскольку для этого опять нужно было объявить новый набор войск, а денег на их содержание не было. По существу, Сирия была брошена на произвол судьбы. Тем не менее ее окончательное покорение растянулось еще на несколько лет. Это объясняется тем, что население многих городов, еще не занятых арабами, длительное время собственными силами оказывало им сопротивление, опираясь на крепость городских стен. В арабах оно видело прежде всего грабителей и убийц и потому не спешило сменить тяжелую, но привычную власть Византии на подданство завоевателям.
Арабы без труда вторично заняли те немногие города, оставленные ими ранее, где значительная часть населения была настроена в их пользу (Дамаск, Эмеса и некоторые другие). Затем Абу-Убейда вместе с Халидом-ибн-ал-Валидом двинулся к Киннесрину. После осады, продолжительность которой неизвестна, город согласился на капитуляцию. Однако потом, когда арабское войско ушло к Халебу, жители Киннесрина разорвали мирный договор и были покорены вторично (неизвестно, на каких условиях). Затем после осады сдался Халеб. Одновременно со взятием Халеба и Киннесрина подчинились мусульманам арабские племена, жившие в окрестностях этих городов. По-видимому, эти события имели место уже в 637 г. Тогда же был взят Иераполь (Менбидж). Из Халеба Абу-Убейда отправился к Антиохии и после осады (продолжительность неизвестна) принудил ее к сдаче. К этому же времени, вероятно, были заняты Тир, Сидон, Берит и многие другие города финикийского побережья. Меньше труда арабам пришлось затратить на завоевание менее укрепленных населенных пунктов, удаленных от морского побережья. Их население или бежало под защиту ромеев во внутренние области империи, или сдавалось на капитуляцию. К лету 638 г. вся территория к западу от Евфрата была под арабским контролем.
Успешно продвигалось и завоевание Палестины. В июне или июле 637 г. после осады, продолжавшейся около трех лет (возможно, с перерывами), капитулировала Газа. Длительную осаду выдерживал также Иерусалим. Отдельные арабские отряды появлялись в его окрестностях еще в 634 г. Однако систематическая его осада началась в 636 г. По-видимому, в начале 637 или 638 г., когда надежда на помощь извне иссякла, жители города начали переговоры о сдаче. Принять капитуляцию Иерусалима приехал сам халиф Омар, находившийся в это время в Сирии. Договор о капитуляции был заключен на довольно почетных условиях. Жители обещали выгнать от себя ромеев и «разбойников» (по-видимому, людей, которые вели партизанскую войну), а за это сохранили свое имущество и церкви. Одновременно с Иерусалимом сдалась Рамла.