24 августа по всей линии завязались авангаpдные бои. Вскоре обнаружилось сильное давление противника на 43-ю пехотную дивизию. Генерал Ренненкампф принял меры по усилению своего левого фланга, направив к Бенгейму 72-ю пехотную дивизию из Даркемена и 54-ю пехотную дивизию из Инстербурга. Кроме того, 29-й пехотной дивизии 20 корпуса он приказал перейти с правого фланга армии к Даркемену.
На следующий день в сражение вступили главные силы. Севернее Мазурских озер атаки немцев были остановлены. Однако 43-я пехотная дивизия, вновь атакованная с фронта и с фланга, не удержала своих позиций. Она отошла в район Лиссен, Кальнишкен. Противнику удалось совершить двумя корпусами глубокий обход левого фланга армии. В этой обстановке Павел Карлович пытался спасти положение перегруппировкой 28-й пехотной дивизии 20-го корпуса с реки Дейме в район Гольдапа (на расстояние 160 верст) конницы Хана Нахичеванского и 2-й гвардейской кавалерийской дивизии генерала Рауха.
Вечером 28 августа генерал Ренненкампф принял решение на отход армии. Три корпуса правого крыла (26-й, 3-й и 4-й) организованно достигли линии Спанагельн, Иедлаукен к утру. На левом фланге обстановка складывалась тяжелая. Под непрерывными ударами немцев 72-я пехотная дивизия отошла за реку Гольдап. Отходила и 43-я пехотная дивизия. 2-й корпус занял pубеж от Коваррен до Витгирен. 20-й корпус разместился в pайоне Мацволя, Гавайтен и Киссельн.
Командующий Северо-Западным фронтом торопил генеpала Ренненкампфа: «Отводите войска центра и правого фланга возможно быстрее… Сделав переход не менее 45 верст, войска выйдут из затруднительного положения». В первую очередь Павел Карлович начал отвод 26, 3 и 4 корпусов. Оставлялось и сильное прикрытие. 2-й корпус должен был оборонять занимаемый рубеж, а 20-му приказывалось наступать на Гольдап.
На деле все сложилось по-другому. 2-й корпус по личному решению его командира генерала Слюсаренко перешел в наступление и в полдень 29 августа сбил передовые отряды немцев. 20-й же корпус так и не смог выполнить поставленную задачу.
30 августа немцы заняли Гольдап. Натиск противника в этот день ослабел, но генерал Ренненкампф не желал останавливаться и в 17 часов 30 минут отдал приказ о дальнейшем отступлении армии в пределы России: 3-му корпусу – на Вильковишки, 4-му – южнее, 2-му и 26-му – на Средники, конному корпусу – на Кунигишки. Сам же генерал Ренненкампф уехал со штабом в неизвестном напpавлении.
Командующий Северо-Западным фронтом, не имея с ним связи и не зная местонахождения 4, 2, 20-го корпусов, послал кружным путем через Вильно на имя командира 3-го корпуса генерала Епанчина депешу с приказам «немедленно перейти в наступление 3-му и 26-му корпусам». Не получилось. Поведение командующего аpмией было осуждено генералом Жилинским. Он докладывал: «У генерала Ренненкампфа приложено больше работы о безопасности штаба, чем об управлении армией, которое в последние дни совершенно отсутствует. Генерал Ренненкампф доложил, что уезжает в Вильковишки и отводит 3-й и 26-й корпуса на восток. Таким образом, он бросил на произвол судьбы остальные корпуса его армии. Штаб генерала Ренненкампфа ехал вместе с ним в Вильковишки, однако прямой проводной связи до сих пор нет. Поведение командующего 1-й армией исключало всякую возможность управления… Он за прошлые сутки четыре раза менял место своего пребывания и каждый раз снимал аппарат. При таких условиях связь поддерживаться не может. Сегодня в 6 часов вечера он опять снял аппарат, заявив, что уезжает в Вильковишки».
Верховный главнокомандующий несколько иначе оценивал ситуацию: «Неприбытие генерала Ренненкампфа, в связи с его личными свойствами, наводит на мысль, что он вероятнее всего поехал к армии для руководства вверенными ему войсками». Великий князь Николай Николаевич повелел «принять меры к тому, чтобы отыскать генерала Ренненкампфа и установить с ним связь».
31 августа командующий 1-й армией объявился в Ковно. По этому поводу начальник штаба фронта доносил в Ставку: «Известие это так невероятно, что вторично его проверяем». Утром следующего дня генерал Ренненкампф известил Жилинского, что все корпуса 1-й армии успешно вышли из боя, на что получил такой ответ: «От всего любящего вас сердца благодарю за радостную весть. Поблагодарите геройскую 1-ю армию за ее труды. В вашей энергии и помощи божьей уверен». Через несколько часов Ренненкампф послал Жилинскому еще одну телеграмму. В ней он отмечал, что 1-й армии нужен лишь короткий срок для отдыха и она опять будет готова к бою. Вскоре выяснилось, однако, что корпуса понесли такие огромные потери, что армия надолго выведена из состояния боеспособности. За время отхода она потеряла около 80 тысяч пленными и 150 орудий.