По возвращению из Англии в 1769 г. И.Г. Чернышев императорским указом назначается вице-президентом Адмиралтейств-коллегии. Ему поручается работа по восстановлению боеспособности Российского военно-морского флота. С этой трудной задачей граф Чернышев с честью справился. Военно-морские силы Российской империи пополнились новыми боевыми кораблями и были перевооружены. Его труды по достоинству высоко отметила Екатерина II, издав указ о награждении графа И.Г. Чернышева двумя высшими российскими военными орденами – Св. Александра Невского и Св. Андрея Первозванного: «За многие труды в приведении флота в доброе состояние».
В годы правления императора Павла I граф Чернышев назначается президентом Адмиралтейств-коллегии и производится в генерал-фельдмаршалы по флоту «с тем, однако, чтобы не был генерал-адмиралом».
В 1798 г., находясь в Риме, граф Иван Григорьевич Чернышев скончался. Его тело перевезли в Санкт-Петербург и похоронили в Благовещенской церкви Александро-Невской лавры. (Кстати, напомню, Благовещенская церковь лавры являлась усыпальницей сподвижников царя Петра и знаменитых государственных деятелей России: здесь погребены: граф П.И. Ягужинский, фельдмаршал В.В. Долгорукий, А.Г. Разумовский, А.М. Голицын, П.И. Панин, А.И. Ушаков, граф Я.В. Брюс, И.И. Бецкой, князь Безбородко, граф И.И. Шувалов и многие другие. За левым клиросом находится могила полководца А.В. Суворова с лаконичной записью на могильной плите: «Здесь лежит Суворов». Из царственных особ в Благовещенской церкви покоятся: царица Прасковья – супруга Иоанна Алексеевича, Наталья Алексеевна – сестра Петра Великого, сын Петра I Петр Петрович, правительница Анна Леопольдовна, Петр III и его дочь Анна, первая супруга Павла I Наталья Алексеевна и их дочь Ольга. Здесь же похоронены дочери Александра I Мария и Александра).
После смерти графа И.Г. Чернышева дворец перешел по наследству к старшему сыну от второго брака с Анной Александровной Исленьевой – Григорию Ивановичу. Тот вел довольно праздную жизнь и быстро промотал батюшкино наследство. Графский дворец с его великолепным содержимым и редкими коллекциями картин и скульптур вскоре был заложен, а затем в счет погашения долга отошел в казну. Часть дворца графа И.Г. Чернышева даже сдавалась в аренду разного рода предпринимателям. Здесь открыли магазины по продаже картин, табака, сигар и даже знаменитых немецких колбас.
На рубеже XVIII и XIX столетий в связи с бурными событиями во Франции значительно увеличилось количество французских эмигрантов в Петербурге. Среди убежденных роялистов, эмигрировавших в столицу России из революционной Франции, оказался тогда и принц Ж.Л. Конде. По распоряжению вступившего на престол императора Павла I, французский принц на некоторое время поселился на набережной реки Мойки, во дворце графа И.Г. Чернышева. Тогда графский дворец даже украсили лилией – эмблемой Бурбонов – королевской династии Франции с 1589 г. Принцу Конде, по повелению Павла I, вручили 20 тысяч рублей, а на главном фасаде дворца графа Чернышева укрепили доску с надписью на французском языке: «Отель Конде».
9 мая 1823 г. именным указом российского императора Александра I в Санкт-Петербурге утверждается «Школа гвардейских подпрапорщиков и кавалерийских юнкеров»: «Дабы дать военное образование молодым людям для получения офицерского звания в гвардейской пехоте». Некоторое время новое военное учебное заведение размещалось в казармах лейб-гвардии Измайловского полка, а 10 августа 1825 г. по Высочайшему указу ему передали участок и бывший дворец графа И.Г. Чернышева на Мойке у Синего моста, в котором в течение двух лет выполняли подготовительные перестроечные работы как внутри, так и снаружи дворцового здания.