Бодуэн оказался в отчаянном положении. Он отлично знал, что на рассвете Фатимиды начнут атаку, которая может закончиться только смертью или пленом. И король решил покинуть свою армию (неизвестно только, насколько тяжело ему далось такое решение) и скрыться под покровом ночной темноты. В сопровождении пяти своих приближённых он тайком выбрался из окружённого форта, возможно в чужой одежде, через боковые ворота, но довольно скоро был обнаружен мусульманскими воинами. В темноте началось хаотичное кровопролитное сражение. По воспоминанию современника, франкский рыцарь по имени Роберт «выдвинулся вперёд с обнажённым мечом, кося врага направо и налево», но оружие было выбито из его рук, и сам рыцарь повержен. Рядом упали ещё два его товарища. Тогда Бодуэн решил спасаться верхом на своей быстроногой лошади Газели. Теперь с ним остался только один спутник — Гуго де Брулис (о котором никаких сведений не сохранилось).
Египтяне сразу же бросились в погоню за беглым монархом. Понимая, что от плена его отделяют лишь мгновения, он спрятался в зарослях тростника, но преследователи подожгли его. Бодуэну едва удалось спастись, отделавшись небольшими ожогами. Ещё два дня он провёл, убегая, в страхе за свою жизнь. Растерянный, не имеющий еды и питья, он хотел найти дорогу через Иудейские холмы к Иерусалиму, но в этом районе оказалось слишком много египетских патрулей. 19 мая 1102 года он повернул на северо-запад к побережью и сумел добраться до Арсуфа. Всё это время Бодуэн, должно быть, страдал от унижения и сомнений, он никак не мог узнать, какая судьба постигла его покинутых товарищей в Рамле и не капитулировали ли в его отсутствие перед Фатимидами Яффа и Святой город. Наглядным свидетельством полученной им в предыдущие дни физической и психологической травмы было то, что, оказавшись в Арсуфе, он мог думать только о том, чтобы поесть, попить и выспаться. Как заметил один из современников, этого требовала человеческая сторона его натуры.
На следующий день ситуация изменилась к лучшему. Гуго Фалькенберг, правитель Тивериады, услышав о нападении египтян, прибыл в Арсуф в сопровождении восьмидесяти рыцарей. Конфисковав английский пиратский корабль, бросивший якорь поблизости, король отплыл на юг в сторону Яффы, а Гуго отправился туда же по берегу. Ситуация в Яффе оказалась тяжёлой. На суше её осадили войска Шарафа аль-Маали, а на море — египетский флот из тридцати судов. Храбро подняв королевский флаг на мачте своего корабля, чтобы придать уверенности гарнизону Яффы, Бодуэн чудом сумел избежать встречи с флотилией Фатимидов и вошёл в порт. Оказавшись на земле, он получил неприятные новости.
Яффа была близка к капитуляции. Не имея сведений о местонахождении короля и судьбе его армии в Рамле, осаждённое со всех сторон население города оказалось в бедственном положении. Но потом Шараф аль-Маали использовал нечестную тактику. Гербод из Виндеке при жизни, вероятно, имел отдалённое внешнее сходство с королём. Мусульмане надругались над его трупом, отсекли голову и ноги, обрядили вызывающие ужас останки в одежду королевских геральдических цветов и пронесли под стенами Яффы, объявив о смерти короля и потребовав немедленной капитуляции. Многие, в том числе королева, поверили обману и начали строить планы бегства морем. Именно в это время с севера появился корабль Бодуэна. Своевременное прибытие короля укрепило мораль и, вероятно, поколебало решимость Шарафа. Главные силы египетской армии теперь отошли на некоторое расстояние в сторону Аскалона, судя по всему намереваясь подготовить осадные машины для полномасштабного штурма, и это дало франкам бесценную передышку.
Бодуэн появился вовремя, чтобы спасти Яффу, но вмешиваться в события в Рамле было уже поздно. Утром после его бегства мусульманские войска штурмом взяли городские стены и окружили башню, в которой находились остатки войска Бодуэна. Фатимиды начали активный штурм башни, делали подкопы под стены и разводили в них костры, чтобы выкурить защитников. К 19 мая окружённые франки оказались в безнадёжном положении. Покинутые королём, понимающие, что поражение неизбежно, они предпочли, по словам одного современника, «погибнуть с честью, чем задохнуться в дыму и умереть жалкой смертью». Они сами начали последнюю атаку из башни и очень быстро почти все были уничтожены. Одним из немногих уцелевших был Конрад Германский, который сражался с такой яростью, разя всех врагов, до которых только мог достать мечом, что в конце концов остался один в окружении трупов врагов. Потрясённые мусульмане предложили ему сдаться, обещав пощадить его жизнь и увезти в качестве пленника в Египет. Многим франкам повезло меньше. Среди погибших в Рамле был Этьен де Блуа, чья смерть в этом городе наконец избавила его от стыда за проявленную в Антиохии трусость четырьмя годами ранее.