Алихан в 37 лет переселился из Петербурга в Москву, с 40 лет был в отставке. Один из самых богатых людей России того времени, в Москве и Подмосковье он дал полную свободу своей чисто русской натуре, и то, что мы теперь называем спортом, составило едва ли не основное содержание его жизни. С 1774 г. он был инициатором проведения общедоступных зрелищных физических забав, по сути, стал родоначальником физкультуры и спорта в России. В 1785 г. впервые в Москве он провел конные состязания на призы, ввел в практику бега в упряжке и тотализатор, создал особые усовершенствованные саночки для быстрой конной езды. В его московское имение Нескучное и подмосковное владение Остров стекались бойцы, борцы, силачи, бегуны, наездники. Он организовал своего рода стадионы, где устраивал конские бега и другие соревнования, завершавшиеся поединками прославленных борцов и кулачников. Люди знали, что сам А.Г. Орлов был редкостным силачом. Никто не мог победить его в борьбе или кулачной сшибке. Одним ударом палаша он отрубал голову быку, одной рукой останавливал за колесо карету, запряженную шестью лошадьми; выигрывал бой у десяти гренадеров (причем всех их укладывал наземь), ходил с одной рогатиной на медведя и т. п.
А.Г. Орлов любил народные песни и танцы. Он первым заставил соотечественников высоко оценить народные русские и цыганские песни и танцы как высокое искусство. Он гордился тем, что его единственная дочь Анна (1785–1848) лучше всех танцев исполняет именно русскую пляску и цыганочку.
А.Г. Орлов создал всемирно известную породу орловских рысаков, был мастером в деле коневодства.
А.Г. Орлов имел первоклассную лошадиную и псовую охоту, сам возглавлял псовую охоту для истребления волков, тревоживших табуны его лошадей. Он собственноручно вел родословную своих собак, разводил почтовых голубей, гордился своими орловскими бойцовыми гусями и орловскими канарейками с особым напевом. Был необычайно хлебосолен и приветлив. Был мудрым и расчетливым хозяином, разумным помещиком. Его за добрый нрав и покровительство многим простым людям москвичи любили. Все высоко ценили в нем широту русской натуры, приверженность всему русскому. В Москве и Подмосковье его девизом было «не казаться, а быть добрым».
Естественно, при его мужественной красоте, решимости, богатстве А.Г. Орлов всегда имел бешеный успех у женщин, у него было несколько внебрачных детей. В 47 лет он женился на 19-летней Авдотье Николаевне Лопухиной (1763–1786). Именно в имении Остров он несколько дней справлял свою свадьбу. Тогда приглашенных на свадебные торжества было великое множество. Алихан, вволю погулявший и повидавший огромное число красавиц, к этому времени понял, что женой его должна быть не красавица и ветреница, не ученая дама, а скромная, добродетельная девушка, способная стать надежной хозяйкой их дома, терпеливой и верной женой, заботливой матерью их детей. А.Н. Орлова была чрезвычайно скромной, не любила дорогие броские наряды, не носила никаких драгоценностей, никогда не надевала бриллианты, которыми в обилии обладал и одарил ее муж; она отдавала себя полностью семейным делам и благотворительности. Четыре года длился его счастливый брак, родилась их дочь Анна. А через год от вторых родов умерла 23-летняя любимая жена графа, вскоре умер и младенец – сын Иван. А.Г. Орлов был почти сломлен горем и всю свою любовь перенес на дочь Анну. Но он был от природы жизнелюб и большой любитель женщин, неудивительно, что с конца 1780 – начала 1790-х гг. у него поселилась Мария Семеновна Бахметьева (р. 1766 г.), дочь калужского губернского прокурора, князя С.С. Львова, сбежавшая к нему от ее пожилого мужа П.А. Бахметева с его взрослым сыном, неважно относившихся к ней. 24-летнюю М.С. Бахметеву официально называли воспитанницей 55-летнего графа, она жила у него якобы на положении дочери, его родная дочь Анна ее очень любила и называла сестричкой. А.Г. Орлов умер в возрасте 72 лет и был похоронен в его любимой подмосковной усадьбе.