Г. Орлов становится для художников, скульпторов и поэтов престижным объектом творческих исканий. В мастерской М. В. Ломоносова изготавливается его портрет в мозаике, его бюсты выполняет Шубин; академический скульптор Павлов, по замечанию Я. Штелина, вылепил его «с совершенным сходством» в глине, затем отлил в гипсе и отполировал под белый мрамор. В это же время французский скульптор Жилле возжелал представить Г. Орлова по-своему, но оплошал. По его просьбе с лица Григория сняли гипсовую маску, на что граф «со всем терпением согласился», но когда отлитый и отполированный бюст был преподнесен при дворе «Его сиятельству», тот выругался, не найдя в нем ничего общего с оригиналом. Он удивлялся тому, что портрет, выполненный с гипсовой маски, оказался столь неудачным, в то время как созданный руками другого мастера имел полное сходство. Русского скульптора Павлова Орлов щедро одарил золотыми червонцами.
Собирал Григорий и свою библиотеку, судьба которой неизвестна. Через несколько лет после его смерти на чердаке одного из гатчинских домов была найдена «куча книг» (Екатерина выкупила Гатчину у наследников Григория и подарила ее сыну Павлу), это были какие-то «старые французские книги», вероятно, заброшенные туда после перевернувшей всю судьбу Григория женитьбы. Очевидно, кое-что из его книг и картин нашло впоследствии место в имении его брата Владимира — подмосковной Отраде.
Весной 1765 г. в Петербург возвратился после заграничной учебы будущий великий отечественный зодчий В. И. Баженов. О его успехах в Париже и Италии при дворе были наслышаны, что способствовало быстрому знакомству архитектора со многими приближенными императрицы и, конечно, с Орловыми. Получив в добавление к иностранным званиям диплом Петербургской Академии художеств, официально учрежденной год назад, Баженов настолько стал вхож в окружение наследника Павла, что обедал у него, развлекая рассказами о Франции и Италии.
Не поладив с директором академии И. И. Бецким, преклонявшимся перед французами, молодой академик вынужден был порвать с академией, номинально оставаясь ее членом, и целый год искал работу, пока о его бедственном положении не узнал фаворит государыни. Екатерина сразу назначила Баженова «архитектором при Артиллерии со чином капитана Артиллерийского» в ведение Григория Орлова, который поручает ему строительство нового каменного здания Арсенала, на месте старого, находившегося в конце Литейного проспекта.
А в феврале следующего года Г. Орлов посылает Баженова в Москву под предлогом «казенных артиллерийских надобностей» заниматься благоустройством территории Кремля для предстоящего в конце июля 1767 г. прибытия туда государыни с депутатами «Уложенной Комиссии».
Здесь у архитектора возникла мысль о постройке Кремлевского дворца, которой он поделился с Г. Орловым, а затем с его помощью и с императрицей, выразившей восхищение и заинтересованность представленными ей соображениями.
В 1768 г. началась война с Турцией. Иностранные дипломаты в Петербурге, зная о влиянии Григория на Екатерину, заискивали перед ним, рассчитывая на установление выгодных отношений с Россией. Саксонское правительство пыталось его подкупить, но получило решительный отпор. Императрица же, зная простодушие любимца, не допускала его к самостоятельному решению государственных вопросов. Две «родные сестры» — Политика и Дипломатия, как правило, требующие изворотливости, на протяжении всей жизни были чужды Григорию, отличавшемуся доверчивостью, честностью, неспособностью льстить и лгать. По характеристике младшего Орлова, Владимира, «у него была львиная отвага при кротости овечьей». Он был щедр до расточительности, добр к людям и не редко разбалтывал то, о чем следовало помолчать.
П. А. Румянцеву Григорий писал: «В разсуждении части политической, об которой меня спрашивать изволили, и я поистине донес, что не знаю. Вот, голубчик граф, мое понятие о делах государственных… Ее императорское величество сама намерена была вашему сиятелству ответствовать на тот вопрос, который вы мне учинить изволили. Изволила ли исполнить или нет точно донести не могу. Брат Иван болен, Володимер едет [на лечение за границу], от Алексея еще известия не имеем [из Италии]; Федор приехал в Ливорну и дожидается его прибытия» [46, 67].