Польский главнокомандующий, который мог бы действовать значительно быстрее, удовлетворился сопровождением войск великого князя, наступая на пятки нашему арьергарду, с целью блокировать корпус и, тем самым, ускорить его движение. Но весь наступательный порыв был нейтрализован выдержкой генералов Бистрома и Полечко и находящихся под их командованием войск. Сам великий князь успевал быть везде. Полки семеновцев, егерей, финляндцев, батальоны саперов и финляндских стрелков, которые последовательно противостояли численно превосходившему противнику, соперничали друг с другом в усердии и мужестве. При каждой атаке они дорого платили за каждый шаг отступления, которое было им предписано. Сражение в Тыкоцине было весьма оживленным и кровопролитным. Поляки хотели перейти мост вслед за нашим арьергардом, который понес значительные потери. Мост был разрушен гвардейскими саперами под плотным картечным огнем. Видя, что гвардия отступает перед их ударами, поляки со своей стороны посчитали, что их войска устали, а количество потерь вынуждает их к долгому отступлению, кроме того, с тыла им угрожала начавшая, наконец, движение наша главная армия. Таким образом, им не осталось другого выбора, как быстро удалиться с театра военных действий и позаботиться о собственном спасении. После 4 дней отступления 11 мая гвардия снова начала наступать, она перешла Тыкочин и занялась преследованием поляков. Их отступление вскоре превратилось в бегство. Преследуемый легкой гвардейской кавалерией, их авангард заботился только о том, чтобы уйти как можно быстрее, они побросали своих раненных, обозы, ружья и продемонстрировали полный беспорядок плохо руководимых и упавших духом войск.
Узнав, что в Нуре большой отряд под командованием генерала Лубенского прикрывает правый фланг неприятеля, Дибич направил туда графа Вита с тем, чтобы выбить их оттуда в то время, как основная армия продолжила свое движение на Цехановец. Нур был взят после первой же атаки, а Дубенский был обязан своим спасением только густому лесу, сквозь который в полном беспорядке отступили его войска. На следующий день, 13 мая фельдмаршал соединился с гвардией и таким образом, вместо того, чтобы воспользоваться ошибкой противника, отрезать ему пути к отступлению и разбить его одним ударом, он оказался лицом к лицу с ним. Он соединил свои силы с гвардией, которая одна была вполне в силах преследовать ослабленных и деморализованных поляков.
Никогда еще в короткой кампании не было упущено столько возможностей побить противника и закончить войну. Поляки были счастливы спастись столь чудесным образом и мечтали только о том, чтобы отступить к Варшаве с наименьшими потерями. Они пересекли Нарев в Остроленке и оставили там сильный отряд только для защиты своего отступления. Спустя 14 дней после того, как поляки отправились разбить гвардию, 14 мая наши солдаты приблизились к Остроленке. Еще накануне генерал Бистром опрокинул их арьергард и заставил поляков укрепиться в городе. Ранним утром следующего дня началось сражение. Поляки укрепились, чтобы защитить входы в город, но построенные в колонну два гренадерских полка пошли в штыковую атаку и начали освобождать от неприятеля улицу за улицей, дом за домом и, наконец, в огне пожаров, которые сами поляки зажгли, как последний способ сопротивления, они стремительно ворвались в Остроленку. Обращенные в бегство во всех пунктах, поляки бросились к мосту, который был уже готов к уничтожению. Значительная часть их погибла в волнах или пала под штыками наших гренадер. Неудовлетворенные достигнутыми успехами, гренадеры бросились к мосту, доски которого уже были демонтированы. Один за другим под огнем вражеской артиллерии они по балкам моста на другую сторону и бросились вперед, несмотря на всю польскую армию, формировавшуюся на том берегу реки. Этот единственный в своем роде подвиг, оставшийся в анналах военной истории, совершили гренадеры Астраханского полка.
Удивленные такой отвагой поляки поспешили выстроить свои линии и приготовились отразить эту атаку. Несколько других батальонов гренадер последовали за астраханцами, но неприятельская артиллерия сосредоточила весь свой огонь на этой горстке храбрецов, заставив их искать укрытие за насыпью, на которой находилась дорога, шедшая вдоль берега реки. Скржинецкий со своими генералами торопились построить атакующие колонны для того, чтобы занять выгодную позицию и окончательно разрушить мост. Несколько раз они атаковали наших гренадер, которые при приближении поляков поднимались на насыпь, отражали неприятеля и возвращались под ее защиту при залпах их артиллерии. Начальник Генерального штаба генерал Толь появился на берегу реки со стороны Остроленки и успешно расположил там несколько артиллерийских батарей таким образом, чтобы они стреляли через головы наших гренадер прямо по полю, на котором строились неприятельские колонны с тем, чтобы дать гренадерам передышку.