Самоотверженной обороной Красного Неверовскому удалось задержать французов на сутки. Однако долго противостоять превосходящим силам неприятеля его части, конечно, не могли. Начался отход под постоянными ударами врага. Отступающая дивизия выдержала до сорока атак. По свидетельствам очевидцев, едва ли не каждый метр дороги был устелен телами русских и французских солдат. В шести верстах от Смоленска остатки отряда Неверовского соединились с частями генерала Раевского, пришедшими им на помощь. Наполеон был поражён исходом этого боя. «Я ожидал всей дивизии руских, а не семи отбитых у них орудий», – заявил он своим приближённым.
Пока у Смоленска собиралась вся русская армия, объединённый отряд Раевского занял городское предместье и приготовился к бою. В понимании фортификаторов того времени город крепостью не являлся и к обороне подготовлен совершенно не был. Укрепления, построенные ещё в XVII веке, давно пришли в запущенное состояние. Серьёзным препятствием для вражеской артиллерии являлись только старые городские стены, толщина которых достигала б метров, но разместить на них свою артиллерию оказалось весьма проблематично. До подхода неприятеля сделать удалось немного. Устраивать позиции войскам помогали жители и ополченцы.
Ночью с городских стен наши солдаты видели бесчисленное множество костров. Силы защитников не превышали 13 тысяч человек, а перед ними была вся французская армия. Но все жаждали боя. Из госпиталей даже пришли легкораненые, объявившие, что могут биться с врагом.
Утром 16 августа Смоленское сражение началось. Днём ранее перед Наполеоном продефилировали все французские войска. Это был парад по случаю его дня рождения. Солдаты воспряли духом, подтянулись. Они по-прежнему верили в счастливую звезду своего императора, его военный гений. Все мечтали о генеральном сражении, в котором русская армия непременно будет разбита. А это означало конец войны и триумфальное возвращение домой.
После артиллерийского обстрела последовал первый штурм. Он окончился неудачей. Бой шёл целый день, то утихая, то разгораясь с новой силой. Все усилия французов взять город оказались тщетны. Некоторые историки считают, что Наполеон только имитировал натиск, желая втянуть в сражение всю русскую армию и таким образом сделать его генеральным.
Ночью понёсший большие потери корпус Раевского сменили части генералов Дохтурова и Коновницына.
С утра, битва возобновилась. Штурм следовал за штурмом, но всякий раз русские отбивали эти яростные атаки. Артиллерийская канонада продолжалась 13 часов. Французам удалось захватить одно из городских предместий, но вскоре их оттуда выбили. Дома в Смоленске в основном были деревянными. От вражеских бомб и ядер начались пожары. К вечеру практически весь город уже был объят пламенем. Трагедия заключалась в том, что русское командование эвакуировало в Смоленск большинство тяжелораненых. Возможности выбраться из горящих зданий у них не было. В том огне большинство их погибло.
Два дня боёв никаких успехов французам не принесли. Практически все русские генералы высказывались за продолжение сражения и выступали за то, что оно должно стать генеральным. Они верили в своих солдат. Однако Барклай де Толли решил иначе. Он не хотел рисковать армией и приказал оставить Смоленск. Дальнейшую оборону города он счёл опасной. Принятию этого решения способствовали и донесения разведки о том, что большие силы неприятеля были посланы в обход с целью перерезать дорогу на Москву. Под прикрытием арьергарда дивизии стали покидать Смоленск.
Вместе с отступающими войсками город покинуло и большинство его жителей. Вереницей тянулись подводы с ранеными. В сумерках из Успенского собора вынесли главную святыню города – икону Смоленской Божией матери. Отходя, русские уничтожили мост через Днепр и взорвали пороховые склады.
На следующий день враг вошёл в Смоленск. Как вспоминали потом сами победители, «это был спектакль без зрителей и победа почти без плодов; кровавая слава, дым, который окружал нас, был, казалось, единственным нашим приобретением». Солдаты тут же бросились грабить то, что уцелело. Офицеры им в этом не препятствовали.
Завершилось Смоленское сражение боем у Ватутиной горы в 20 километрах восточнее города. Здесь арьергард русской армии задержал наступающие части маршала Нея. Жестокий бой длился до поздней ночи. Последняя рукопашная происходила уже в темноте. Русские остались на позициях, а затем в полном порядке отступили.
Организованности русских отдавали должное и вражеские офицеры: «Неприятель, будучи принуждён к отступлению, совершил его в образцовом порядке, увозя с собой артиллерию, обоз и раненых». Несмотря на то что русские оставили свои позиции, французы считали, что победа им не принадлежит.