С воцарением Александра положение П. В. Чичагова резко изменилось. В 1802 году он получает должность члена Комитета по образованию флота и назначается личным докладчиком императора по делам этого комитета. В ноябре того же года он производится в вице-адмиралы, а в декабре занимает пост товарища министра морских сил. Столь быстрое возвышение стало причиной зависти и ненависти к нему со стороны придворных. Немалую роль сыграли и его нескрываемые симпатии к английским порядкам, и то резкое порицание, с каким он относился к русскому дворянству, высмеивая его везде, где только можно, и отстаивая идею освобождения крестьян.
Граф Федор Петрович Толстой, вице-президент Академии художеств, которому в молодости приходилось близко сталкиваться с адмиралом, характеризует его следующим образом: «Павел Васильевич Чичагов был человек весьма умный и образованный. Будучи прямого характера, он был удивительно свободен и как ни один из других министров прост в обращении и разговорах с государем и царской фамилией. Зная свое преимущество над знатными придворными льстецами, как по наукам, образованию, так и по прямоте и твердости характера, Чичагов обращался с ними с большим невниманием, а с иными даже с пренебрежением, за что, конечно, был ненавидим почти всем придворным миром и всей пустой, высокомерной знатью; со своими подчиненными и просителями (которых он всегда принимал без малейшего различия чинов и звания) Чичагов обращался весьма приветливо и выслушивал просьбы последних с большим терпением».
В 1807 году он получил чин адмирала и пост министра морских сил и тут же приступил к активной работе по упорядочению дел в своем министерстве: сократил, насколько было возможно, количество хищений и всякого рода злоупотреблений, столь обычных в то время, увеличил флот, построил новые эллинги, постоянно следил за развитием техники и усовершенствованием морской тактики. В качестве члена Государственного совета и Комитета министров он входил в постоянные столкновения со своими коллегами, что наконец привело его к необходимости в 1809 году взять отпуск для поездки за границу.
В том же году адмирал расстается с домом на набережной, владельцем которого становится П. Л. Давыдов. Об этом мы узнаём из напечатанного в «Санкт-Петербургских ведомостях» объявления: «Литейной части в 1 квартале, возле Гагаринской пристани, в доме под № 15, прежде бывшем Адмирала Чичагова, а ныне Действительного Камергера и Кавалера Давыдова, отдаются с набережной в нижнем этаже и на другой проспект во втором этаже покои внаем…»
Петр Львович Давыдов (1782–1842) был сыном графини Екатерины Николаевны Самойловой, племянницы Г. А. Потемкина, по первому мужу Раевской, и, таким образом, приходился единоутробным братом генералу Н. Н. Раевскому и родным – декабристу В. Л. Давыдову, троих детей которого он взял к себе на воспитание.
Петр Львович женился на дочери графа Владимира Григорьевича Орлова (младшего из братьев Орловых), Наталье Владимировне, и их сыну Владимиру в 1856 году дано было право «принять имя и титул деда своего (по матери) и потомственно именоваться графом Орловым-Давыдовым». В имении Екатерины Николаевны Давыдовой – Каменке – неоднократно бывал Пушкин и, по-видимому, был знаком с самим Петром Львовичем, его женой и детьми.
Около 1818 года дом Давыдова перешел к обер-шталмейстеру князю Василию Васильевичу Долгорукову. Здесь провели самые счастливые свои годы декабристы братья Беляевы. Старший из них, Александр, оставил интересные воспоминания, где рассказывает, что благодаря институтской дружбе их сестры с будущей женой князя, Варварой Сергеевной, урожденной Гагариной, супруги Долгоруковы взяли в Петербург сначала его, а затем и брата Петра.
В. В. Долгоруков
Приехав в столицу в 1813 году, княжеская чета некоторое время проживала на Английской набережной, а позднее переехала в нанятый Василием Васильевичем дом неподалеку от Гагаринской пристани, который он вскоре приобрел в собственность. Вместе с сыном поселилась (во флигеле, выходящем на Шпалерную) незадолго перед тем овдовевшая княгиня Екатерина Федоровна; до глубокой старости она пользовалась большим почетом в свете и при дворе, неизменно присутствовала на придворных торжествах, являясь живой хроникой конца XVIII века. Рассказы ее слушались с интересом; любил их слушать и Пушкин, которому В. В. Долгоруков передал письма и рескрипты Петра I предкам князя.
А. П. Беляев пишет в своих воспоминаниях: «Дом был квадратный, один фасад выходил на набережную у Гагаринской пристани, две стороны были вдоль двора, а четвертая сторона выходила на улицу. В этом доме жила княгиня-мать. В этом незабвенном доме князя и княгини Варвары Сергеевны прошло наше отрочество; здесь же провели мы счастливые годы юности, когда уже были офицерами».