Около 6 часов утра 4 августа три вражеских корпуса, которыми командовали маршалы Ней, Даву и Мюрат, начали наступление. После сильнейшего артиллерийского обстрела города в атаку была брошена французская кавалерия генерала Груши, устремившаяся на стоявшую в районе Рачевки русскую конницу. Произошло несколько быстротечных кавалерийских сшибок на поле перед деревней.
«Смоленск. Я опять слышу грозный, величественный гул пушек! – вспоминала об этом Надежда Андреевна. – Опять вижу блеск штыков! Первый год моей воинственной жизни воскресает в памяти моей!.. Два часа дожидались мы приказания под стенами крепости Смоленской; наконец велено нам идти на неприятеля. Жители города, видя нас проходящих в устройстве, порядке, с геройскою осанкою и уверенностью в своих силах, провожали нас радостными восклицаниями… Полк наш помещен по обеим сторонам дороги; эскадрон Подъямпольского на левой; еще левее кирпичные сараи…
Мы все смотрели очень внимательно на правую сторону дороги, где происходило уже сражение и некоторые из наших эскадронов отлично дрались; дорого заплатили бы мы за это зевание по сторонам, если бы наш священник Вартминский, самый неустрашимый человек из всего полка, не подъехал к нам и не указал в левую сторону…
Взглянув, куда он указывал, мы увидели скачущую нам во фланг неприятельскую кавалерию; в одно мгновение Подъямпольский скомандовал: “Второму полуэскадрону правое плечо вперед!” – и, поставив его лицом к неприятелю, приказал мне взять начальство и в ту ж минуту ударить на несущуюся к нам конницу. Восхитительная минута для меня!.. Но вдруг команда моя “с места, марш-марш!” слилась с громовым голосом нашего начальника, раздавшимся позади нашего фронта: “назад! назад!” В одну секунду мой полуэскадрон повернул назад и поскакал сломя голову на большую дорогу; я осталась позади всех. Без порядка скакал эскадрон густой толпою по кустам, буграм и рытвинам; Зелант, горячий, заносчивый конь мой, рвался из-под меня, но я не смела дать ему воли; он имел дурную привычку, разгорячась, драть голову… итак, удерживая коня своего, неслась я большим галопом вслед скачущего эскадрона но, слыша близко за собою топот лошадей и увлекаясь невольным любопытством, не могла не оглянуться; любопытство мое было вполне награждено: я увидела скачущих за мною на аршин только от моей лошади трех или четырех неприятельских драгун, старавшихся достать меня палашами в спину…
Миновав бугры и ямы, Зелант, как бурный вихрь, унес меня от толпы неприятельской. Выбравшись на ровное место, мы отплатили неприятелю за свое беспорядочное бегство и, повинуясь голосу офицеров, эскадрон в минуту пришел в порядок, построился и грозною тучею понесся навстречу неприятелю. Земля застонала под копытами ретивых коней, ветер свистал в флюгерах пик наших; казалось, смерть со всеми ее ужасами неслась впереди фронта храбрых улан. Неприятель не вынес этого вида и, желая уйти, был догнат, разбит, рассеян и прогнан несравненно с большим уроном, нежели наш…»
Упорные бои у Смоленска продолжались весь день 4 августа 1812 года. Французы прорваться к нему не смогли. Ранним утром 5 августа войска захватчиков подковой окружили город. Наполеон все еще надеялся, что сможет навязать русским генеральное сражение. Но вскоре он увидел, что основные силы русских покидают городские укрепления. Он отдал приказ начать штурм города, который сопровождался безжалостной бомбардировкой. Более 300 орудий вели огонь по жилым кварталам Смоленска. Главный удар был направлен на Молоховские ворота, куда наступал корпус Даву. С запада шел корпус Нея, с востока – корпус князя Понятовского.
За этот день в городе произошли страшные разрушения. Из 2500 домов уцелело менее 350. Свидетель сражения Ф. Н. Глинка писал в своих «Письмах русского офицера»: «Я видел ужаснейшую картину, я был свидетелем гибели Смоленска. Неприятель устремился к Смоленску и встречен был под стенами его горстью неустрашимых россиян… Наконец, утомленный противоборством нашим, Наполеон приказал жечь город, которого никак не мог взять грудью… Тучи бомб, гранат и чиненных ядер полетели на дома, башни, магазины, церкви, и все, что может гореть, запылало! Толпы жителей бежали из огня, полки русские шли в огонь…»
Во время боев 4 и 5 августа 1812 года потери «Великой Армии» убитыми и ранеными составили свыше 16,5 тыс. человек, русской – свыше 10 тыс. человек.
Кавалерия 4-го кавкорпуса ушла из Смоленска в ночь на 6 августа. Литовские уланы находились в арьергарде конной колонны и видели, как горит город. Потери полка в этом сражении были следующими: убиты юнкер Тарасевич, 2 унтер офицера, 4 трубача, 21 «товарищ» и 28 «шеренговых», без вести пропали 12 нижних чинов.