В четырнадцатилетнем возрасте Алексея отвезли в Петербург, где он успешно сдал экзамены в Пажеский корпус и был зачислен сразу в третий класс, а в 1872 г. по окончании учебы его приняли на службу прапорщиком в 15-й драгунский Тверской полк, располагавшийся в Закавказье, в Кутаиси, а вскоре назначили младшим взводным офицером в 1-й эскадрон.
Служба Алексея Брусилова в полку протекала благоприятно и ничем особенным не отличалась: дисциплины он не нарушал, на службу не опаздывал, с удовольствием проводил занятия с драгунами своего взвода. Сам же, обожая лошадей и верховую езду, охотно учился у ветеранов обхождению с конем. Это было замечено, и через полгода молодого офицера назначили адъютантом полка на должность, требующую аккуратности, дисциплины и такта, чем молодой прапорщик обладал в полной мере. В апреле 1874 г. Брусилова произвели в поручики.
Первой войной для него стала русско-турецкая 1877–1878 гг. Брусилов со своим полком отправился на южную границу. Молодые офицеры восприняли начало войны с большим воодушевлением, поскольку денежное содержание увеличивалось и появлялась возможность получать награды. Тверской полк вошел в состав 1-й кавалерийской дивизии Кавказской армии, которой командовал М. Т. Лорис-Меликов. Брусилов отличился уже в первом бою, когда, командуя отрядом драгун, захватил турецкие казармы и командира турецкой пограничной бригады. За отличие при взятии крепости Ардаган он получил первую боевую награду – орден Станислава 3-й степени с мечами и бантом. Затем последовали новые награды: орден Анны 3-й степени, чин штабс-капитана и орден Станислава 2-й степени за мужество при штурме и взятии Карса. Эта война дала хорошую боевую закалку Брусилову. В 25 лет он стал опытным офицером.
По окончании войны вплоть до осени 1881 г. Брусилов продолжал службу на Кавказе, а затем был командирован для учебы в Петербургскую кавалерийскую школу. Он с удовольствием штудировал кавалерийскую науку, побывал в лучших кавалерийских частях русской армии. Курс обучения Брусилов окончил с отличием и был переведен адъютантом в постоянный состав школы.
В 1884 г. Алексей Алексеевич женился на Анне Николаевне Гагенмейстер, кузине своего дяди. Через три года у них родился сын Алексей (погибший в 1919 г. в Гражданской войне). Работая в кавалерийской школе, Брусилов развил кипучую энергию в деле улучшения организации обучения кавалерийских офицеров. Повышается его звание и сменяются должности: адъютант, старший учитель верховой езды и выездки лошадей, начальник отдела эскадронных и сотенных командиров, помощник начальника школы. В 1900 г. Брусилов получил чин генерала-майора и был причислен к штату лейб-гвардии. Этому поспособствовал великий князь Николай Николаевич, являвшийся в то время главным инспектором кавалерии. Алексей Алексеевич много работал, писал статьи о кавалерийской науке, изучал опыт верховой езды и работы конных заводов во Франции, Австро-Венгрии, Германии. Через два года он был назначен на должность начальника Петербургской кавалерийской школы. Опираясь на поддержку великого князя, Брусилов много сделал для улучшения вверенного ему дела. Руководимая им школа стала признанным центром подготовки командного состава русской кавалерии.
В 1906 г. Брусилов был назначен командиром 2-й гвардейской кавалерийской дивизии, где заслужил большое уважение подчиненных. Много внимания он уделял занятиям с офицерами по карте, наступательному бою, маневру. Летом проводились соответствующие учения. Но в это время резко ухудшились дела в семье генерала: жена была тяжело больна и медленно угасала. В 1908 г. она скончалась. Брусилов тяжело пережил утрату. Личная драма, а также гнетущая обстановка петербургской жизни после революции 1905–1907 гг. подтолкнули его к решению уйти из гвардии в армию. Он добился назначения в Варшавский военный округ в Люблин командиром 14-го армейского корпуса. Одновременно с этим его произвели в генерал-лейтенанты. 14-й корпус являлся крупным воинским соединением с численностью свыше 40 тыс. солдат и офицеров, так что под опекой Брусилова оказалось огромное и сложное хозяйство.
В Люблине у Алексея Алексеевича произошла встреча с Надеждой Владимировной Желиховской, которую он знал еще по Кавказу в дни своей молодости и в которую был тайно влюблен. С ее сводным братом он участвовал в турецкой кампании. Брусилов, которому в это время было уже 57 лет, предложил руку 45-летней Надежде. В ноябре 1909 г. состоялось венчание в церкви драгунского полка.
В мае 1912 г. Брусилов был назначен помощником командующего войсками Варшавского военного округа и получил чин генерала от кавалерии. Но вскоре начались трения с генерал-губернатором Скалоном и другими «русскими немцами» в штабе округа, и он вынужден был покинуть Варшаву и занять должность командира 12-го армейского корпуса в Киевском военном округе. Тем временем мирная жизнь подходила к концу, назревала мировая война. В июне 1914 г. была объявлена общая мобилизация русской армии.