В течение дня город много раз переходил из рук в руки, сражение, час от часу разгораясь, втягивало в себя все новые войска. Коновницын рвался в бой, но Кутузов упрямо держал его при себе. Наконец за пять верст до Малоярославца, когда цель армии по предупреждению французов на новой Калужской дороге была достигнута, армия, выдвинув боевое охранение, расположилась на привал. Вместе с тем Кутузов хотел во что бы то ни стало малыми силами удержать в своих руках Малоярославец. Ему ничего не оставалось делать, как отпустить в сражение Коновницына. «Петр Петрович, — сказал он ему торжественно, — ты знаешь, как я тебя берегу и прошу не кидаться в огонь, но теперь прошу: очисти город!» Взяв бывшую свою 3-ю пехотную дивизию, Петр Петрович повел ее на Малоярославец. Семь раз водил он пехотные линии на штурм, выбивая из-за заборов городских садов неприятеля, и только к вечеру французы отошли.
Но и Кутузов почему-то отошел, будто сговорившись с Наполеоном, в одно и то же время. Город, за обладание которым только что дрались с таким ожесточением, оказался покинутым. Этот отход от города давал французам, если бы они им воспользовались, возможность пройти не разоренными войной местностями и через Медынь, Юхнов и Ельню выйти к Смоленску. Коновницын и Толь «громче всех его осуждали». Многие приписывали «сию пагубную меру личной боязни фельдмаршала», что, конечно, маловероятно. Скорее всего сражение за Малоярославец явилось для обеих армий пробой сил. Наполеон убедился, что наша армия окрепла, и это не оставило ему надежд пробиться на Калугу силой, как, с другой стороны, Кутузов, видимо, убедился, что большое дело затевать еще рано, поскольку «солдаты, среди коих много было рекрут, дрались дурно под Малоярославцем, одни офицеры жертвовали собой…». Поэтому, возможно, оба полководца отступили. Иное объяснение одновременного оставления города, за который пролито столько крови, действительно могло натолкнуть на мысль о том, что «будто сговорились…». Мысль эта была бы как невероятна, так и несносна для сознания, но, с другой стороны, предыдущее объяснение все же не проясняет неясности, вызванной этим внезапным «оставлением», поскольку дорога на Медынь была относительно свободна. Казаки Платова, затеявшие небольшое дело с конницей Понятовского, в расчет идти не могли. То же обстоятельство, что Коновницын и Толь, можно сказать, обязанные своим возвышением Кутузову, громче всех его осуждали, свидетельствует о том, что действия фельдмаршала были порой совсем непонятны даже ближайшим его соратникам. Не оттого ли изнемогал Петр Петрович от должности своей, тем более что, как честный человек, вынужден был многое видеть из того, на что другие могли закрывать глаза.
Но как бы там ни было, наступление всем давало силы и письма той поры раз от разу бодрее, «…спешу тебя обрадовать, мы уже более ста верст гоним неприятеля, который, не оглядываясь, бежит, завтре мы в Вязьме, и перережем ему дорогу… если Бог даст, скоро будем в Смоленске, где образ сам поставлю, и пойдем далее…». По письмам видно, что армия еще не вполне поверила, что враг побежал, все еще ждали кровопролитных сражений, прорыва и прочего. Но вот он уже побежал, побежал, убыстряя ход до сорока верст в день. От Малоярославца Петр Петрович был вынужден заниматься обеспечением армии на марше всем необходимым, но вместе с тем неутомимо рвался в огонь. Подходя к Вязьме, Милорадович без разрешения фельдмаршала атаковал французов. Кутузову вместо диспозиции был прислан в конверте чистый лист бумаги. Если вспомним, что в письме Петр Петрович писал, что «завтре» будут в Вязьме и перережут французам дорогу, то станет ясным, что, минуя главнокомандующего, штаб руководил боевыми действиями авангарда, попутно подвигая Кутузова приступить к ним силами всей армии. Видя, что армию под Вязьму не заполучить, Петр Петрович частным порядком вытребовал себе разрешение отправиться в первые ряды. Рассердившийся Кутузов в сердцах выговорил ему: «Да отвяжись ты от меня и ступай, куда хочешь!» «Птицей полетел» Петр Петрович к Милорадовичу и опять распоряжался там именем фельдмаршала.