Позднее Алексей вместе с младшим братом Андреем отправился пополнять свое образование в Страсбург, а после этого провел несколько лет в заграничном путешествии. Вернувшись в 1769 году на родину, юноша получил звание камер-юнкера и начал службу при дворе. Через пять лет он женился на богатейшей невесте России – графине Варваре Петровне Шереметевой, но, прожив с ней некоторое время и произведя на свет четверых детей, приказал своей безвольной, склонной к ханжеству супруге покинуть дом и жить отдельно, предоставив воспитание малолетних отпрысков ему одному.
В этом проявился суровый, деспотичный характер графа, отталкивавший от него людей. Впоследствии собственные сыновья выводили его из терпения своим необузданным мотовством, с соседями же он вел бесконечные тяжбы, постепенно становясь убежденным мизантропом. Помимо законных детей, он имел еще десятерых побочных (пятерых мальчиков и столько же девочек) от М. М. Соболевской, получивших фамилии Перовских от принадлежавшего Разумовскому подмосковного имения Перово. Все его сыновья от этой связи вышли людьми известными и даже талантливыми, а одна из дочерей стала матерью поэта А. К. Толстого.
Жизнь открывала ему, любимцу фортуны, свои объятия, а он отворачивался от них, постоянно хандрил, был мрачен и подозрителен. Его снедало неудовлетворенное честолюбие: сенаторского звания ему было мало, хотелось стать президентом Коммерц-коллегии, но Екатерина II, по-видимому недовольная членством графа в масонской ложе, отклонила кандидатуру Разумовского. С досады он вышел в отставку.
При Павле Алексей Кириллович по-прежнему оставался не у дел, проживая в своем подмосковном селе Горенки и разоряясь на неслыханный по богатству ботанический сад и обширнейшую библиотеку по естественным наукам. В графских теплицах и оранжереях имелись редчайшие растения, а некоторые, дотоле неизвестные виды, звались его именем. И среди этой сказочной роскоши А. К. Разумовский сердился и брюзжал. Он не был счастлив: такие люди никогда не бывают счастливы.
Мистически настроенный граф вновь пристал к масонству, особенно оживившемуся после вступления на престол Александра I. Честолюбивые порывы в нем уже улеглись, поэтому он не сразу принял предложение царя вновь поступить на службу. Только в 1807 году А. К. Разумовский согласился занять должность попечителя Московского университета. Он осуществил ряд полезных мер, заслужив одобрение государя, а спустя три года сменил П. В. Завадовского на посту министра народного просвещения.
Назначение Разумовского встретили с одобрением. Французский посол Коленкур, скрупулезно заносивший в свою записную книжку все слухи и толки в обществе, отметил 21 апреля 1810 года: «Граф Алексей Разумовский… приехал в Петербург, чтобы взять в управление Министерство народного просвещения. Это один из самых больших и богатых вельмож России, один из образованнейших людей. Он постоянно занимался ботаникой и земледелием; у него в этом отношении самые лучшие земли империи и самые лучшие сады Европы».
Алексей Кириллович вместе с дочерью поселился в доме на Фонтанке, который он через некоторое время приобрел, полностью изменив планировку усадебных дворов. О том, как выглядела усадьба в ту пору, можно узнать из «Записок» графа М. Д. Бутурлина: «По воскресным дням и большим праздникам мать наша возила нас к обедне в Зимний дворец, а иногда в домовую церковь графа А. К. Разумовского в его доме с обширным прекрасным английским садом на Фонтанке, между Семеновским и Чернышевым мостами… Дом был деревянный, длинный, одноэтажный, с подъездным перед ним двором и со службами по бокам. Все это вместе более имело вид помещичьей усадьбы, нежели городского жилища вельможи, а в саду был даже порядочный весьма пруд. В доме была отборная картинная галерея…»
Примечательно, что, приступив к новым своим обязанностям, гордый и высокомерный граф счел нужным обратиться за советом к сардинскому посланнику графу Жозефу де Местру – кумиру столичной знати, тесно связанному с иезуитами. Впрочем, почтительное отношение к последним Алексей Кириллович усвоил еще с детских лет: среди его наставников состоял воспитанник иезуитов из Вены.
В ответ Разумовский получил от де Местра развернутое послание; в нем хитроумный дипломат при помощи красивых, мнимо убедительных софизмов доказывал преждевременность и даже вредность образования в России. «Наука в России сейчас ни для чего не потребна… Надобно понимать природу человека и прежде сделать науку желаемой, а потом уже преподносить ее тем, кто стремится к ней». Такова главная мысль лукавых, воистину иезуитских рассуждений де Местра; они весьма напоминают умозаключения тех, кто спустя полвека станет отстаивать полезность и желательность сохранения крепостного права на том основании, что народ еще не готов к свободе!