С утра 5(17) августа началась ружейная и артиллерийская перестрелка, длившаяся до 14 часов. Наполеон сначала тешил себя мыслью, что русские попытаются выйти на открытую позицию перед городом, в то же время не спешил начинать штурм, намереваясь втянуть русских в большое сражение, но затем убедился, что они вновь отступают (ему доложили о движении Багратиона), и он решил взять Смоленск обходным маневром и попытаться разъединить русские армии. Однако французы не смогли быстро найти броды на Днепре и поэтому вынуждены были предпринять фронтальную атаку. Штурм начался около 16 часов. Вперед пошли корпуса М. Нея, Л.Н. Даву, Ю. Понятовского. Сначала они вытеснили русских из Красненского, Мстиславского и Рославльского предместий, затем, несмотря на яростные русские контратаки, к 18 часам полностью захватили все предместья левого берега, но войти в центр города им не удалось. Особым напором отличались атаки польских частей Ю. Понятовского, стремившихся на правом фланге первыми ворваться в Смоленск. Но сломить русскую оборону так и не удалось. После неудачи в общем приступе Наполеон приказал сосредоточить под стенами Смоленска огонь свыше 150 орудий, которые начали обстрел города, в результате чего возникли многочисленные пожары. Все последующие попытки атак также оказались безрезультатными. К 22 часам сражение прекратилось. В ночь на 6(18) августа войска Дохтурова вместе со многими жителями покинули Смоленск. Наполеон 6(18) августа готовился к новому штурму, однако уже рано утром узнал, что русские покинули Смоленск, разрушив мост через Днепр, и в 4 часа утра его части вошли в разрушенный город, в котором из 2250 домов уцелело около 350 зданий.
В ходе борьбы за Смоленск 4–5 (16–17) августа потери русских составили свыше 11 тыс. человек, среди убитых оказались два генерал-майора – А.А
После оставления Смоленска 1-я Западная армия отошла на Пореченскую дорогу и тем самым оказалась удаленной от 2-й Западной армии, отступавшей по Дорогобужской дороге. Опасаясь вновь оказаться отрезанным от армии Багратиона, Барклай де Толли решил соединиться с ним. Но это движение на соединение вдоль правого берега р. Днепр предстояло осуществить в опасной близости к противнику. Поэтому Барклай принял решение перейти на Дорогобужскую дорогу в ночное время. Только этим можно объяснить потерю целого дня 6(18) августа. Войска были разделены на две колонны и арьергард. Чтобы опередить противника, к перекрестку дорог у д. Лубино был выдвинут отряд генерал-майора П.А. Тучкова (примерно 3 тыс. человек).
Тем временем в ночь на 7(19) августа части Великой армии навели несколько переправ через Днепр (3-й армейский корпус маршала М. Нея, 8-й армейский корпус генерала Ж.А. Жюно, а также 1-й и 2-й корпуса кавалерийского резерва И. Мюрата). Сам Наполеон остался в Смоленске и поручил преследование русских этим трем высокопоставленным армейским начальникам.
Около 8 часов утра авангард Тучкова вышел на Московскую дорогу, и его командующий правильно оценил важность прикрытия этого перекрестка для судьбы всей армии – он принял решение остаться в этом месте, вопреки полученному приказанию двигаться дальше. Ранее около 5 часов утра, у местечка Гедеоново (в двух верстах от санкт-петербургского предместья Смоленска), потерявший направление и сбившийся с дороги 2-й пехотный корпус К.Ф. Багговута и часть 4-го пехотного корпуса А.И. Остермана-Толстого столкнулись с корпусом Нея. Оказавшийся рядом Барклай де Толли приказал удерживать позицию у Гедеоново отряду генерал-майора Е. Вюртембергского. Лишь после 8 часов утра, отбив все атаки Нея, русские оставили Гедеоново после того, как все войска миновали этот опасный участок. Наполеон отдал приказание Нею продолжать атаковать русских с фронта и усилил его одной дивизией корпуса Даву. Войска Мюрата и Жюно должны были охватить левый фланг русских.