В 1764 г. граф Андрей Петрович и его молодая супруга Екатерина Петровна, урожденная графиня Салтыкова (1743–1816) совершают второе заграничное путешествие в Европу, во время которого супруг знакомится с Вольтером, посетив его в Ферни.
Екатерина II высоко ценила дипломатический талант графа Шувалова, успешно выполняющего ее многочисленные поручения и задания. В одном из писем к Вольтеру императрица писала, что «граф Шувалов – превосходный чтец, один из самых аккуратных и прилежных людей, ей известных». В 1768 г. Андрей Петрович становится директором двух Ассигнационных банков, учрежденных тогда в Москве и Петербурге. Князь Вяземский в своих воспоминаниях утверждал, что «…гр. Андрей Шувалов, блестящий царедворец двора Екатерины, приятель Вольтера и Лорана… сам писал французские стихи, часто переписываемые лучшими современными французскими поэтами… Он исправлял грамматически письма императрицы к Вольтеру. В поездках Екатерины Алексеевны по России граф нередко сопровождал ее, включенный в свиту русской императрицы».
В 1776 г. граф А.П. Шувалов получил заграничный отпуск и в течение пяти лет вместе с супругой жил в Европе. По возвращению на Родину в 1781 г. он назначается сенатором, и по распоряжению Екатерины II проводит серьезную государственную ревизию присутственных мест Санкт-Петербургской губернии. В 1782 г. граф Шувалов избирается Петербургским губернским предводителем дворянства и награждается высшими наградами Российской империи – орденами Св. Андрея Первозванного и Александра Невского.
В начале 1787 г. граф А.П. Шувалов в свите императрицы отправляется в путешествие по России, во время которого Андрею Петровичу пришлось ревизовать губернские управления. Осенью того же года граф Шувалов становится членом Совета при императрице. Однако в конце восьмидесятых годов XVIII столетия наступает некоторое охлаждение Екатерины II к Андрею Петровичу. Этому во многом способствовали постоянные происки новых царских фаворитов.
После смерти А.П. Шувалова, наступившей весной 1789 г., его дом на набережной Мойки (№ 94) унаследовали два его сына – Петр Андреевич (1771–1808), Павел Андреевич (1776–1823) и две дочери – Прасковья Андреевна (1767–1828) и Александра Андреевна (1775–1849). Сыновья и дочери Андрея Петровича получили прекрасное образование, обзавелись семьями и являлись весьма уважаемыми людьми столичного высшего общества
На семейном совете наследники графа А.П. Шувалова единодушно решили продать отцовский особняк на Мойке в казну.
Купленный у наследников дом Андрея Петровича императрица Екатерина II в 1795 г. подарила своей любимой фрейлине графине Александре Браницкой – племяннице князя Г.А. Потемкина. Новая владелица особняка вновь перестроила его и благополучно жила в нем на протяжении 35 лет. В 1830 г. графиня А.В. Браницкая продает шуваловский особняк на набережной Мойки своим родственникам, князьям Юсуповым.
Потомки и наследники Андрея Петровича Шувалова прожили весьма достойную жизнь. Дочь, Александра Андреевна, вышла замуж за князя Ф.И. Дитрихштейна. Вторая дочь графа – Прасковья Андреевна, ставшая женой князя М.А. Голицына, – оказалась талантливой поэтессой и замечательным прозаиком. Княгиня подолгу жила в Париже и Италии. В ее парижском салоне собирался цвет литературной общественности. Фенимор Купер в своих письмах из Парижа с восторгом писал: «Княгиня Голицына по-прежнему весьма любезна и талантлива. У нее в доме собирается лучшее русское и французское общество. Ее невестка, княгиня М.А. Голицына-Суворова, внучка фельдмаршала А.В. Суворова, очень преуспела в музыке. Они устраивают прекрасные небольшие вечера». А дочь Купера вспоминала: «Княгиня Голицына была пожилой женщиной, очень умной, искусной сочинительницей записок, полных светского красноречия».
Вдова Андрея Петровича, графиня Екатерина Петровна, по восшествии на престол императора Павла Петровича была отстранена от должности гофмейстрины, но в день коронации Павел I пожаловал ее орденом Св. Екатерины. В 1807 г. вдова графа А.П. Шувалова вместе с дочерью Александрой уехала за границу и через девять лет скончалась в Риме.
Младший сын графа Андрея Петровича и графини Екатерины Петровны Шуваловых – граф Павел Андреевич Шувалов (1776–1823) – женился на княжне Варваре Петровне Шаховской. Выпускник Пажеского корпуса, он в 1793 г. произведен в подпоручики лейб-гвардии Конного полка и некоторое время находился в свите великого князя Александра Павловича после пожалования ему придворного чина камер-юнкера.
Вся жизнь Павла Андреевича связана с российской армией. Граф в 1799 г. становится участником исторического перехода А.В. Суворова с армией через Альпы в Италию. При переходе через перевал в Сен-Готард в яростной стычке с французами граф Павел Андреевич Шувалов был тяжело ранен, но остался в строю.