После возвращения из Персидского похода подполковника Ермолова зачислили в артиллерийский батальон Иванова, в котором, по выражению генерала Аракчеева, "у семи офицеров был один мундир".
За участие в смоленском офицерском политическом кружке "Вольнодумцы" в 1798 году Ермолов был арестован и заключен в Петропавловскую крепость. После проведения следствия его сослали в Кострому "на вечное житье". Вместе с ним ссылку здесь отбывал Матвей Платов, будущий атаман Донского казачьего войска. В Костроме Ермолов занимался самообразованием, читая в подлиннике римских классиков. Многим тогда казалось, что на этом его военная карьера закончилась.
Однако в армии офицер имел репутацию способного и перспективного артиллерийского командира. Когда начались французские революционные войны, Ермолова возвратили на военную службу. Настороженное же отношение к себе царских властей, как вольнодумец, он ощущал до последних дней своей жизни.
В войне с наполеоновской Францией 1805-1807 годов Ермолов участвовал в должности командира конно-артиллерийской роты. Он быстро выдвинулся на командные должности во многом благодаря своей храбрости и умению в критические минуты боя брать на себя всю ответственность за его "огневой" исход. С тех пор русская армия знала его как своего героя.
В составе кутузовской армии Ермолов отличился в сражении при Амштеттине, где его конно-артиллерийская рота, выдвинувшись вперед, метким огнем прикрыла от французов расстроенные эскадроны Мариупольского гусарского полка. В сражении под Аустерлицем ермоловские орудийные расчеты вели огонь по атакующей вражеской кавалерии до последней возможности, не покинув занимаемой позиции. Затем его 40 орудий прикрывали отступавшую русскую армию на переправе по единственному мосту через реку Нарев.
На территории Восточной Пруссии ермоловская конно-артиллерийская рота отличалась не раз. При отходе русских войск она находилась в составе арьергарда, не раз отбрасывая наседавших французов картечными залпами в упор. В сражении при Прейсиш-Эйлау артиллеристы полковника Ермолова успешно действовали против войск корпуса маршала Франции Даву. Под Гутштадтом они уничтожили неприятельскую батарею. Под Гейльсбергом на замечание о том, что французская колонна слишком близко подошла к его батарее, Ермолов ответил: "Я буду стрелять, когда различу белокурых от черноволосых".
За отличия в русско-прусско-французской войне 1806-1807 годов он был удостоен нескольких боевых наград, в том числе Золотого оружия — шпаги. Его дважды представляли к званию генерал-майора, но каждый раз безуспешно. Тогда еще всесильный Аракчеев был против: Ермолов имел неосторожность резко возразить ему на замечание во время смотра войск.
В 1809 году Алексея Петровича назначили командиром отряда резервных войск, охранявших государственную границу на Волыни и в Подолии. В 1811 году он стал командиром гвардейской артиллерийской бригады, затем гвардейской пехотной бригады и дивизии.
Отечественную войну 1812 года Ермолов встретил в должности начальника Главного штаба русской 1-й Западной армии генерала от инфантерии М.Б. Барклая-де-Толли, военного министра России. Он участвовал в сражениях при Валутиной Горе близ Смоленска, Бородино, Малоярославце. За успешный бой у Заболотья наконец-то получил чин генерал-майора.
В ходе Бородинского сражения главнокомандующий М.И. Голенищев-Кутузов посылал генерала Ермолова в армию Багратиона для приведения в порядок ее артиллерии, понесшей большие потери в борьбе с неприятельскими батареями. В критический для битвы при Бородино эпизод, когда французы овладели Курганной высотой (батареей Раевского), Ермолов лично повел в штыковую атаку батальон Уфимского пехотного полка и отбил у неприятеля высоту у реки Колочи. После этого он три часа руководил обороной этой батарейной позиции, пока не был ранен картечью в шею.
Заслуги и личный героизм генерала Ермолова в Бородинском сражении общеизвестны. Брат одного из руководителей тайного общества декабристов Н.Н. Муравьев писал о тех событиях на Курганной высоте:
"Алексей Петрович Ермолов был тогда начальником главного штаба у Барклая. Он собрал разбитую пехоту нашу в беспорядочную толпу, состоявшую из людей разных полков; случившемуся тут барабанщику приказал бить на штыки, и сам с обнаженною саблею в руках повел сию сборную команду на батарею.
Усилившиеся на ней французы хотели уже увезти наши оставшиеся орудия, когда отчаянная толпа, взбежав на высоту, под предводительством храброго Ермолова, переколола всех французов на батарее (Ермолов запретил брать в плен), и орудия наши были возвращены.
Сим подвигом Ермолов спас всю армию. Сам он был ранен пулею в шею; рана его была не тяжелая, но он не мог долее в сражении оставаться и уехал…"
После Бородинского сражения генерал-майор Ермолов был назначен начальником объединенного штаба русских 1-й и 2-й Западных армий. На военном совете в Филях он выступил за новую битву с Великой армией Наполеона под стенами Москвы.