Ермолов отличался не только решительностью и смелостью, но и прозорливостью на войне. Узнав, что французские войска, оставив Москву, двинулись по Боровской дороге, он по своей инициативе, на свой страх и риск от имени главнокомандующего изменил маршрут движения корпуса Д.С. Дохтурова, направив его к Малоярославцу. Таким образом Наполеону был перекрыт путь к Калуге и дальше на юг России. После ожесточенного сражения под Малоярославцем французской армии пришлось отступать по разоренной еще при наступлении Смоленской дороге.
Как начальник объединенного штаба Ермолов участвовал в организации преследования наполеоновской Великой армии. За участие в Отечественной войне 1812 года герой Бородинской битвы удостоился звания генерал-лейтенанта.
После изгнания французов из пределов России, когда русская армия перешла пограничную реку Неман, должность начальника объединенного штаба была упразднена. В начале заграничных походов русской армии 1813-1814 годов Алексей Петрович был назначен начальником артиллерии союзных армий, затем — командиром гвардейской пехотной дивизии, которая отличилась в сражении при Бауцене. Тогда гвардейцы отразили все атаки французских войск, которыми лично командовал Наполеон Бонапарт. И вновь Алексей Петрович находился в самом пекле схваток.
В сражении под Кульмом Ермолов заменил тяжело раненного генерала Остермана-Толстого. Кульмская победа стала одной из самых блестящих для русского оружия в ходе заграничных походов 1813-1814 годов.
При взятии столицы Франции он успешно командовал гренадерским корпусом. "За отличие при взятии Парижа" генерал-лейтенант А.П. Ермолов удостоился полководческой награды — ордена Святого великомученика и победоносца Георгия 2-й степени.
Во время Венского конгресса он командовал обсервационной (наблюдательной) армией на австрийской границе.
В 1816 году следует назначение командиром Отдельного Грузинского (затем Кавказского) корпуса, затем главнокомандующим русскими войсками в Грузии и одновременно чрезвычайным и полномочным послом России в Персии (Иране). Ему подчинялись Каспийская военная флотилия, Черноморское казачье войско и Терское казачество, Астраханская и Кавказская губернии.
С именем Ермолова связано начало длительной Кавказской войны против горцев, отголоски которой ощущаются и по сей день. Он был последовательным сторонником активного продвижения Российской империи на Восток, закрепления Кавказа за Россией.
Генерал Ермолов блестяще выполнил возложенную на него дипломатическую миссию. Переговоры в Тегеране для российской стороны завершились успешно. Персия отказалась от территориальных притязаний на кавказские земли, и до 1826 года обстановка на российско-иранской границе была спокойной.
После этого Ермолов занялся "умиротворением" Кавказа, о котором говорил: "Это огромная крепость, надобно или штурмовать ее, или овладеть траншеями; штурм будет стоить дорого, и успех его не верен, так обложим же ее".
В течение последующих десяти лет командующий русскими кавказскими войсками успешно боролся с "мятежниками"-горцами. Он перенес укрепленную линию, бывшую южной государственной границей, с берегов Терека на реку Сунжу. В 1818 году здесь был создан опорный пункт русских войск в Чечне — крепость Грозная. Затем Сунженская линия протянулась до побережья Каспийского моря: на ней были построены крепости Внезапная и Бурная. Укрепленные линии создавались и по берегам рек Малки и Кубани.
После этого пришел черед Кавказских гор. От Сунженской линии сквозь вековые леса стали прорубаться просеки, по которым русские отряды ходили против "немирных" аулов и областей Чечни. Непокорных горцев Ермолов карал жестоко, по законам военного времени — "немирные" аулы подвергались разгрому, а их жители переселялись с гор и из лесов на равнинные земли. По восточным обычаям он приказывал брать заложников — аманатов, которые своей жизнью гарантировали покорность своих соплеменников.
Перенос укрепленной линии с Терека на реку Сунжу консолидировал враждебно настроенных к России горцев — они поняли тактику царского командующего, стремившегося войсками закрепиться на их территориях. Теперь над теми феодальными образованиями, которые приняли подданство Российской империи — Тарковским шамхальством, каракайтагским уцмием, и другими нависла военная угроза соседей. Для их поддержки Ермолов посылал воинские отряды. Во главе одного из них он нанес поражение мятежному хану Ахмету и ликвидировал Мехтулинское ханство.
В начале 1819 года генерал Ермолов во главе сильного отряда русских войск штурмом взял высокогорное селение Акуши — центр Акушинского (Даргинского) союза, расположенного в Среднем Дагестане. Акушинцы, один из самых воинственных народов Северного Кавказа, доселе еще никому не покорялись. Но подданство России им пришлось принять.