А обстановка не замедлила сложиться критически. Наполеон, приведя в порядок свою армию и узнав о наступлении русских, быстро сосредоточил свои силы – 180000 в кулак и решил глубоким стратегическим обходом левого фланга русской армии захватить у нее в тылу Смоленск и отрезать русским сообщение с Москвой.
Наш левый фланг был прикрыт при Красном одной лишь 27-й дивизией генерала Неверовского, только что прибывшей к Армии. Атакованная всей конницей Мюрата, дивизия эта в бою 2-го августа покрыла себя и русское оружие громкой славой, но вынуждена была отойти к Смоленску. У Мюрата было до 23000 (15000 одной конницы) при 60 орудиях, у Неверовского 7000 человек и всего 7 орудий. Дивизия целиком состояла из новобранцев. Неверовский построил ее одной колонной, которую и повел по дороге (екатерининский болыпак, обсаженный березами, что стеснило конницу). Перед боем он обратился к войскам с речью:
Ребята, помните, чему вас учили. Никакая кавалерия не победит вас, только в пальбе не торопись и стреляй метко. Никто не смей начинать без моей команды!
Полтавский полк тут же поклялся умереть, но не сдаться. Все атаки налетавшей конницы были блистательно отбиты и в промежутках между ними Неверовский производил дивизионное учение! Наш урон превышает одну тысячу человек, у французов, по их словам, убыло всего 500 (Неверовский отступил как лев, пишет Сегюр). Прояви Мюрат меньше опрометчивости и используй он свою артиллерию – русская пехота была бы уничтожена. Узнав об этом деле, Барклай быстро отошел в район Смоленска, заняв город ближайшим корпусом Раевского. 3-го августа обе русские армии стянулись под Смоленск. Багратион стоял за сражение, но мнение осмотрительного Барклая взяло верх. Положено лишь задержать французов арьергардом, а главные силы отвести за Днепр – и дальше.
Три дня – 4-го, 5-го и 6-го августа – шел под Смоленском жестокий и неравный бой. 30000 русских (УН-Й корпус Раевского, затем сменивший его У1-Й корпус Дохтурова) удерживали 150000 французов, дав возможность отойти наиболее угрожаемой армии Багратиона и оторваться от противника главным силам армии Барклая. 4-го августа бой вели 15000 русских с 23000 французов, 5-го подошла вся французская армия. Оба штурма Смоленска были отражены с большим уроном для французов. В ночь на 6-е горевший город очищен, и весь день шли арьергардные бои. Наш урон свыше 7000 человек, французов – 12000 человек
Однако опасность еще не была окончательно устранена. 1-я армия находилась вечером 6-го августа еще на петербургской дороге на правом берегу Днепра. В ночь на 7-е Барклай проселочными дорогами сворачивал ее на московскую дорогу вслед за Багратионом. 1-й армии надлежало совершить на следующий день чрезвычайно рискованный фланговый марш к Соловьевой Переправе. Линия отступления (сматывание войск с правого фланга к левому) шла параллельно фронту, и некоторые пункты, как Лубино, отстояли ближе от французов, чем от русских. С целью ее обеспечения Барклай выдвинул к Валутиной Горе боковой арьергард Тучкова 3-го. Весь день 7-го августа до поздней ночи арьергард этот сдерживал французов, нанеся вдвое сильнейшему врагу вдвое тяжелые потери. В отряде Тучкова вначале было всего 3200 человек. К вечеру благодаря все время подходившим подкреплениям, силы доведены до 22000. У французов (корпуса Нея и Жюно, действовавшие, однако, несогласованно) было 49000. Наш урон до 5000, французский – 8768 человек. Последняя наша атака велась при лунном свете, во время нее Тучков, израненный штыками, взят в плен.
Красный, Смоленск и Валутина Гора – три славных для нас дела первой августовской недели, окончились нашим отступлением, да и предприняты были в виду облегчения общего отхода. И это бесконечное отступление казалось чудовищным стране, сто лет не испытывавшей вражеского нашествия, армии, воспитанной Суворовым! Со времен злополучного Сент-Круа ни один главнокомандующий не был так мало популярным, как немец Барклай. Его обвиняли в нерешительности, малодушии, государственной измене… Стоически переносил оскорбления этот великий Россиянин. Спасение возненавидевшей его армии стало его единственной целью – ему он принес в жертву все то, чем может пожертвовать человек и полководец (и далеко не каждый человек, не каждый полководец) – свое самолюбие, свою репутацию… Одному Богу известно, что переживал он в те минуты объезда полков, когда его здорово, ребята оставалось без ответа… Плывя против течения, ломаясь, но не сгибаясь, Барклай тогда спасал эти полки, и две недели спустя на Бородинском поле от всех их будет греметь ему ура! Но горечь в душе останется – и вечером 26-го августа, донося о том дне Государю, он напишет: Провидению угодно было сохранить жизнь, для меня тягостную…
Уступая голосу всей армии и страны, Александр I назначил главнокомандующим Кутузова, прибытие которого к армии 17-го августа при Цареве Займище вызвало всеобщий подъем духа.