В результате колонна русского арьергарда еще не покинула Арбат, как за ее спиной в конце улицы уже показались французы авангарда, но уличного боя не произошло. Оставив казачьего полковника Ефремова с отрядом конницы и пехоты на Боровском перевозе, Милорадович приказал ему в случае появления неприятеля немедленно отступать к Бронницам, чтобы ввести его в заблуждение по поводу истинного маршрута отхода главных сил. Своим арьергардом Михаил Андреевич надежно прикрыл уходящую на пополнение к Тарутину русскую армию.
А затем арьергард Милорадовича превратился в… авангард. Правда, ни под Чернишней (Тарутино), ни под Малоярославцем сражаться ему не пришлось. Но когда корпуса Дохтурова и Раевского перекрыли путь французской армии на Калугу, Милорадович совершил столь стремительный марш к ним на помощь (45 верст за 6 часов), что Кутузов назвал его «крылатым генералом».
Наполеон после неудачи под Малоярославцем вынужден был отступать по Смоленской дороге, и Кутузов поручил непосредственное преследование противника именно Михаилу Андреевичу. Для этого Кутузов включил в его авангард почти половину главных сил с Платовым и Ермоловым.
Милорадовичу надлежало всячески отрезать неприятеля от богатых южных губерний. Его движение называют параллельным преследованием. Войскам пришлось идти проселком, на значительном расстоянии от главного тракта, по которому топала-тащилась-бежала Великая армия Наполеона. Главным было не вступать в решительные сражения, а умело отсекать от вражеского войска корпуса, замыкающие бегство. С другой стороны точно так же действовал казачий атаман Платов, не давая неприятелю покоя даже ночью. Главные же силы Кутузова поспешали не спеша. Такова была стратегия Михаила Илларионовича – никто так и не смог подвигнуть его на более активную манеру преследования.
Русские войска тоже терпели много невзгод – не хватало провизии и теплой одежды. Солдат никогда не был для Милорадовича «скотиной». Михаил Андреевич знал, почем фунт солдатского лиха! И в самые голодные дни приободрял свое войско. Как всегда, молодцеватый и подтянутый, постоянно напоминал солдатам о прежних суворовских переходах через Альпы. «Чем меньше хлеба, тем больше славы!» – говаривал он. В ответ неслось громоподобное: «Ура-а-ааа! Рады стараться, ваше высокопревосходительство!»
21 октября войска Милорадовича (2 пехотных, 2 кавалерийских корпуса, 5 казачьих полков, 9 рот конной артиллерии), опередив корпуса Богарне, Понятовского и Даву, вышли на Старую Смоленскую дорогу. Михаил Андреевич принял решение пропустить Богарне и Понятовского к Вязьме, а затем отрезать и уничтожить корпус Даву. Он ударил корпусу Даву в лоб, а Платов и Паскевич нанесли удар с тыла. Однако Богарне и Понятовский развернулись и бросились на выручку соседа. После того как Даву удалось вырваться из клещей, французы с боями начали отход к Вязьме, а затем, оставив здесь прикрытие, покинули город. Милорадович взял Вязьму штурмом и до темноты преследовал отступавших до реки Вязьмы. Его войска потеряли от 1800 до 2000 человек, а противник – от 7 до 8,5 тыс., в том числе 3 тыс. пленными. Именно неудача под Вязьмой заставила Бонапарта ускорить бегство из России.
Говорили, что в одном из боев русского авангарда с французами Михаил Андреевич Милорадович, чтобы воодушевить солдат, стал швырять солдатские Георгиевские кресты. То же самое рассказывал о себе Ермолов, но тогда дело происходило на Бородинском поле.