Петр Иванович отличался хлебосольством, радушно принимал гостей и устраивал богатые пиры, о которых потом часто вспоминали в столице. Стены дома помнили немало интересных встреч и визитов. В гости к Петру Ивановичу Шувалову и его супруге Мавре Егоровне приезжали не только крупные сиятельные сановники, влиятельные зарубежные политические деятели, но и даже сама императрица Елизавета Петровна. Здесь часто бывал видный государственный деятель той эпохи, фаворит императрицы, двоюродный брат Петра Ивановича – граф Иван Иванович Шувалов.
Петербуржцы долго вспоминали блестящий прием, устроенный графом П.И. Шуваловым 12 июня 1758 г. в своем дворце на набережной Мойки. Прием проходил в присутствии императрицы Елизаветы Петровны. Об этом великолепном празднике не замедлила сообщить газета «Санкт-Петербургские ведомости»: «Сего месяца 12 числа Ее Императорское Величество соизволили присутствовать в доме его сиятельства г. генерал-фельдцейхмейстера, где по окончании балу, который начал Его Королевское Высочество Принц Польский, представлены пред домом иллюминация и два фейерверка, первый за рекою – большой, а другой малый – в саду».
Историк В.О. Ключевский, характеризуя многообразную государственную деятельность «делового, всемогущего, даровитого генерал-фельдцейхмейстера императрицы Елизаветы Петровны графа Петра Ивановича Шувалова, отмечал: «Все самое дорогое и вкусное соединялось в его доме: он первый в России не только стал кушать ананасы, но и завел большую ананасовую оранжерею, экипаж его блистал золотом, и он первый завел целую упряжку дорогих английских лошадей, брильянтовые пуговицы его кафтана были дороже, чем у графа Разумовского. Этот роскошный министр, имея более 400 тысяч тогдашних рублей дохода, ухитрился оставить после своей смерти долгов в одной казне более миллиона рублей».
Память потомков пристрастна. Одних исторических деятелей она превозносит, наделяет необыкновенными достоинствами и усматривает в каждом их шаге признаки величия. Других, напротив, безоговорочно предает забвению. Но чаще всего случается так, что знаменитая некогда личность оказывается полузабытой, известной лишь по имени, понаслышке. И, как это бывает с полузабытыми историческими фигурами, оценки их деятельности бывают противоречивы и тенденциозны. Именно это произошло с Петром Ивановичем Шуваловым. Ему «повезло» с противоречивыми отзывами.
Императрица Елизавета Петровна и часть придворных считали его человеком «выдававшимся своими способностями», «благоразумным, расчетливым политиком и военачальником».
По отзывам недругов графа Шувалова, бескорыстным государственным деятелем он все же не был. Забота о своих личных интересах, нередко в ущерб государству, позволяла Петру Ивановичу вести роскошную жизнь и одновременно постоянно пребывать в огромных долгах.
В 1762 г. граф Петр Иванович Шувалов скончался, передав бóльшую часть наследства своему единственному сыну – выпускнику столичного Пажеского корпуса графу Андрею Петровичу Шувалову (1742–1789), произведенному в 1756 г. в поручики лейб-гвардии Конного полка. С раннего детства наследник легендарного Петра Ивановича Шувалова воспитывался и рос при Императорском дворе вместе с юными графами А.Р. Воронцовым и А.С. Строгановым.
После получения офицерского чина Андрей Петрович включается в свиту графа М.П. Бестужева-Рюмина и вместе с ним отправляется за границу, сначала в Варшаву, а затем в Париж. По возвращению из служебного заграничного турне Петр Андреевич удостаивается придворного чина камер-юнкера, а через четыре года становится камергером.
После смерти батюшки граф Андрей Петрович в 1767 г. продает отцовский дворец на набережной Мойки графу З.Г. Чернышеву, а для себя решает капитально перестроить старый служебный корпус, расположенный на отцовском участке немного выше по течению реки. Архитектором нового жилого особняка на участке современного дома № 94 становится зодчий Ж.-Б. Валлен-Деламот, подготовивший в 1774 г. перестроечный проект старого здания, ставшего основой нового жилого особняка. На рабочих чертежах архитектора изображено здание в виде вытянутой буквы «П», расположенное в некотором отдалении от Мойки, в глубине участка. Центральный объем жилого здания графа Андрея Петровича имел три этажа, боковые ризалиты – по два. Со стороны реки зодчий предусмотрел въездную арку, ведущую в парадный двор. В конце участка со стороны Офицерской улицы (ныне – Декабристов) Валлен-Деламот соорудил въезд через триумфальные ворота – арку. Этот въезд прекрасно сохранился до наших дней. Так огромный участок разделился на две части с обособленными домами на каждом из них: дом № 94 графа Андрея Петровича Шувалова и дворцовый особняк князя Захара Григорьевича Чернышева (№ 96).
В короткий период правления императора Петра III граф Андрей Петрович проявил недюжинную дипломатичность и корректность, сохранив к себе расположение и царя, и будущей императрицы Екатерины Алексеевны.