Но вернёмся в тот 1775 год, когда Потёмкин получил отставку как фаворит-любовник при Императорском дворе. Лето этого года Екатерина провела в Москве, в доме у Пречистенских ворот (где теперь метро «Кропоткинская»), принадлежавшем князьям Голицыным Сохранилась память о том, что в июле императрице пришлось встречать победителя в Первой Русско-турецкой войне генерал-фельдмаршала П. А. Румянцева-Задунайского. Екатерина II, в русском сарафане, счастливая победами над турками, встретила Румянцева на крыльце голицынского дома, обняла и расцеловала его. В его свите выделялся статный, могучий, очень красивый мужчина. Фельдмаршал, заметив, как взглянула на его адъютанта императрица, тотчас представил ей этого в полном смысле красавца, отозвавшись о нём весьма лестно как о человеке образованном, трудолюбивом, храбром и честном Это был Пётр Васильевич Завадовский (1739–1812).
Дворянский и графский род Завадовских был известен с середины XVII века, когда основатель рода польский дворянин Яков Завадовский поступил на службу к русскому царю Михаилу Феодоровичу и переселился в Малороссию.
Отец Петра Васильевича Завадовского был небогатым помещиком Стародубского уезда Черниговской губернии. Кроме Петра, у него было еще два сына: Яков, ставший бригадиром и председателем Новгород-Северской гражданской палаты, и Илья, дослужившийся до чина статского советника.
Пётр Васильевич Завадовский получил хорошее образование в иезуитском училище, а затем в Киевской духовной академии. Начал он свою службу вместе с Безбородко в канцелярии малороссийского губернатора графа П. А. Румянцева (Задунайского). После встречи с императрицей и представления ей Завадовского в 1775 году генерал-фельдмаршал, граф П. А. Румянцев рекомендовал Екатерине II, по её просьбе, для Кабинета Ея Величества Петра Завадовского и Александра Безбородко. Императрица особо выделила своим вниманием Завадовского, красивого, хорошо воспитанного, образованного и скромного молодого человека Она подарила ему бриллиантовый перстень со своим именем и назначила своим статс-секретарём, но скоро пожаловала ему чин генерал-майора и звание генерал-адъютанта Ея Величества и сделала его своим фаворитом. Когда Потёмкин в апреле 1776 года вернулся во дворец после ревизии Новгородской губернии, он обнаружил, что Завадовский уже поселён в его бывших апартаментах.
Пётр Васильевич искренно и глубоко полюбил Екатерину, ревновал её, страдал, навязчиво стремился выяснить с ней отношения, постоянно объяснялся ей в любви. Екатерину, занятую многими делами (в 1775 году она писала Наказ, несколько раз, принимая советы Потёмкина и других, переписывала его), его приставания стали просто раздражать. Это было против законов фаворитизма, непонятно Екатерине и потому вызвало обратную реакцию — полное к нему охлаждение. Г. А. Потёмкин, скрывая ревность, тоже показывал, что не понимает такого немужского поведения, и способствовал охлаждению Екатерины к Завадовскому, что ускорило отставку фаворита как неделового человека Императрица наградила Петра Васильевича Завадовского «за верную службу» поместьями в Черниговской и Могилёвской губерниях, отдалила его от себя, но, зная покладистый характер бывшего своего фаворита и искренние его чувства к ней, оставила его при дворе.
Пётр Завадовский, тосковавший по любимой женщине, отвергнутый ею, хотел доказать Екатерине, что он может быть деловым, может служить ей и своей родине честно и верно.
Дальнейшей карьере Петра Васильевича способствовал его верный друг Александр Андреевич Безбородко, бывший статс-секретарём Кабинета Екатерины II, а затем ставший канцлером Российской империи (I класс Табели о рангах), а кроме того, милостивое к Завадовскому отношение императрицы Екатерины II, а затем императора Павла I.
Воцарившийся на русском престоле Павел I покровительствовал всем обиженным его матерью, а потому и Петру Васильевичу Завадовскому уделил особо милостивое внимание: он возвёл его в графское Российской империи достоинство, наградил орденом Св. Андрея Первозванного, назначил главным директором Дворянского и Заёмного банков и поручил руководить медицинской частью и женскими учебными заведениями. Кроме того, Завадовский должен был продолжать свою деятельность сенатора.
Переменчивость характера императора Павла, его вспыльчивость и непродуманные скоропалительные решения о наказании подданного, не угодившего ему, в 1800 году коснулись и графа Завадовского: он попал в опалу.
Завадовский уехал из столицы и поселился в своём имении Ляличи, в роскошном дворце, построенном по проекту Кваренги и подаренном ему Екатериной II.
Александр I чуть ли не в день своего воцарения на престоле вспомнил о графе Завадовском, вызвал его в Петербург и назначил председателем Комиссии составления актов. В 1802 году император, преобразовавший коллегии в министерства, назначил графа Завадовского министром народного просвещения и в соответствии с должностью присвоил ему чин действительного тайного советника (II класс Табели о рангах).