Род Завадовских ведется от польских дворян. Предки Петра Васильевича обосновались на Украине. В свою бытность генерал-губернатором Малороссии фельдмаршал П. А. Румянцев приметил сметливого молодого человека и назначил его правителем своей секретной канцелярии. Вместе с благодетелем Завадовский участвовал в Русско-турецкой войне 1768–1774 гг., где Румянцев был главнокомандующим и прославился как великий полководец. Вместе с С. Р. Воронцовым Завадовский составлял текст Кючук-Кайнарджийского мирного договора, подведшего черту под этой славной победоносной кампанией. В 1775 г. Румянцев побывал в Санкт-Петербурге, Петр Васильевич его сопровождал и заинтересовал Екатерину II. Красавца оставили в столице, и два года он являлся фаворитом императрицы (1775–1777), соперником Г. А. Потемкина. Впрочем, соперничество это оказалось неудачным для Завадовского, и в 1777 г. его удалили от двора, не забыв при этом щедро одарить крепостными душами в Малороссии и Польше. В дальнейшем он исполнял второстепенные, но важные поручения власти. В частности, Завадовский 12 лет возглавлял строительство Исаакиевского собора, управлял двумя банками, занимался реорганизацией Пажеского корпуса и т. д. Во всех делах Петру Васильевичу очень помогала его многолетняя, еще со времен малороссийской молодости, дружба с личным секретарем Екатерины II Александром Андреевичем Безбородко (1747–1799), который при Павле I стал светлейшим князем и канцлером Российской империи. Однако едва Безбородко умер в апреле 1799 г., как Завадовский тотчас оказался в опале у императора и предпочел добровольно скрыться в своих поместьях.
Петр Васильевич вернулся в Петербург сразу же после убийства Павла I. Новый император отвел ему видное место в своей администрации — Завадовский возглавил Комиссию составления законов при Государственном совете, в задачи которой входила законодательная подготовка либеральных послаблений в стране.
Уже после самоубийства Радищева Завадовский возглавлял с 1802 по 1810 г. Министерство народного просвещения. При нем было открыто много приходских училищ, учреждены учебные округа, в селах появились народные школы, в уездах — уездные училища, в губернских городах — гимназии, открыты университеты в Харькове, Казани и Дерпте; по идее Завадовского для подготовки учителей был основан главный педагогический институт и т. д. Другими словами, Петр Васильевич был довольно деятельный и разумный человек, хотя сам Александр I считал его бездельником и болтуном.
Будучи еще с екатерининских времен в дружеских отношениях с А. Р. Воронцовым, с его подачи Петр Васильевич, едва занял предложенный ему пост, сразу же стал просить Александра I о привлечении к работе в комиссии Радищева. В прошении на имя императора он писал: ««В Комиссии сочинения законов недовольно людей со способностями на сию по себе пространную часть; коллежский же советник Александр Радищев мог бы в сей работе быть полезен по своим дарованиям и склонности к письменному труду. Потому беру смелость просить об определении его в Комиссию членом. Отнюдь не умысел, как известно многим, а неосмотрительность и некое легкомыслие подвергнули его бедам за сочинение, выпущенное не ко времени. Но зато он понес толико тяжелое наказание, что, избавленный монаршим помилованием, потщится усердною службою оправдать милость». Это послание имело особый вес, поскольку Петр Васильевич в 1790 г. был среди тех, кто поставил свою подпись под смертным приговором Радищеву. Просьба Завадовского была удовлетворена, так же как позже Александр I исполнил и вторую его просьбу — вернул Радищеву орден Святого Владимира 4-й степени. Едва Александр Николаевич приступил к работе в комиссии, как Завадовский единственного его взял с собой в Москву на коронацию императора… Короче, граф отнесся к Радищеву со всей душой. Да и в самой комиссии работой его не загружали, он «никаких особых частей для составления уложения не имел и упражнялся на полной свободе…».
За годы ссылки хозяйственные дела Радищева были очень расстроены. Для разрешения своих проблем писатель часто обращался к Завадовскому, и тот не раз ходатайствовал за своего сотрудника перед императором: то просил повысить оклад, то рассмотреть вопрос о единовременной помощи на довольно большую сумму — около 15 тысяч рублей. Другие члены комиссии не раз высказывали свое смущение по этому поводу.