В 1755 г. граф назначается директором «Комиссии о коммерции» и одновременно производится в придворный чин камергера, соответствующий весьма почетному гражданскому чину действительного статского советника. Благодаря дружеским отношениям с фаворитом императрицы Елизаветы Петровны, генерал-адъютантом Иваном Ивановичем Шуваловым, граф Иван Григорьевич почти за бесценок приобретает уральские медные заводы, уплатив в казну всего 30 тысяч рублей, в то время как на заводских складах на этот период оказалось только наработанной промышленной отлитой меди, оцененной на 100 тысяч рублей. Граф И.Г. Чернышев лично не занимался делами своих предприятий, а потому они быстро пришли к полному развалу. Правда, он удачно продал их в казну с большой для себя выгодой – в 700 тысяч рублей. Иван Григорьевич же по-прежнему продолжал работу на дипломатическом поприще, успешно участвовал от имени российского правительства в международных переговорах и совещаниях.
На деньги, вырученные от финансовой сделки по приобретению и продаже уральских медеплавильных заводов, граф И.Г. Чернышев приобретает участок земли на левом берегу реки Мьи (Мойки) и приступает к возведению на нем семейного усадебного дворца с флигелями и регулярным садом. Проект дворцового здания для него подготовил архитектор Ж.-Б. Валлен-Деламот. Князь М.М. Щербатов тогда писал о И.Г. Чернышеве: «Граф был очень богатым человеком. Одеяния его были особливого богатства и вкуса, и их столь много, что он единожды вдруг 12 кавтанов выписал. Стол его со вкусом из дорогих вещей сделанный, обще вкус, обоняние и вид привлекал; экипажи его блистали златом, и самая ливрея его пажей была шита серебром; вина у него были науличшия и наидражайшия…»
Екатерина II, взойдя на престол, возвела графа Ивана Григорьевича в генерал-поручики, сохранив за ним придворный чин действительного камергера, и повелела ему указом «Оставить впредь дипломатическую службу и перейти на военно-морскую, в должности члена Адмиралтейств-коллегии». По прошествии двух лет, в 1765 г., Иван Григорьевич Чернышев становится главным командиром Галерного порта.
Строительство дворца графа И.Г. Чернышева на набережной Мойки торжественно завершилось роскошным новосельем в апреле 1766 г., а в декабре того же года газета «Санкт-Петербургские ведомости» восторженно писала о приеме владельцем дворца, графом Иваном Григорьевичем, императрицы Екатерины II, которая «соизволила там остаться при столе вечерняго кушанья. По окончанию онаго их Величество засвидетельствовала хозяину дворца Высочайшее удовольствие». В одном из дворцовых покоев по распоряжению графа Чернышева установили персональное кресло для императрицы, сидя в котором Екатерина II нередко играла в карты.
Ж.-Б. Валлен-Деламот сумел создать великолепное дворцовое здание, обращенное главным фасадом на набережную реки Мойки, а противоположным – в сад.
Как было тогда принято для усадебных зданий, перед главным фасадом дворца графа И.Г. Чернышева располагался парадный двор, отделявший строение от набережной. В своем дневнике почетный член Петербургской академии наук, швейцарец Иоганн Бернулли, писал о визите к графу И.Г. Чернышеву: «Осмотрел я чудный дворец графа Чернышева, который, конечно, одна из достопримечательностей Петербурга. Снаружи он построен на французский манер, со многими статуями, нишами и прочим. В комнатах графа и парадных роскошных залах соединяется вкус с истинно царским великолепием. С главной лестницы входите прежде всего в комнату, где находится часть библиотеки и модели кораблей, морские карты и пр.; между ними большая прекрасная модель здешнего Адмиралтейства. Здесь всегда замечательное множество прекрасных картин…»
В свете граф считался заядлым меломаном и всегда гостеприимно открывал двери своего дворца всем зарубежным музыкальным гастролерам. В начале 1780-х гг. у графа гостили знаменитые итальянские музыканты того времени, Виотти и Пуньяни. Вездесущая столичная газета «Санкт-Петербургские ведомости» не преминула на своих страницах сообщить об этом читателям: «Оба музыканта со слугою Дефлером живут у Синего мосту в доме его сиятельства графа Ивана Григорьевича Чернышева».
В 1767 г. по распоряжению императрицы Екатерины II граф направляется в Великобританию в качестве чрезвычайного и полномочного российского посла. Чернышеву удается убедить англичан беспрепятственно пропустить в Средиземное море участвующую в Русско-турецкой войне эскадру под командованием адмирала Григория Андреевича Спиридова, сумевшего тогда освободить целый ряд греческих городов, занятых турками.