Гораздо неприятнее было то, что с удалением Орлова произошел опасный крен в балансе придворных партий, поддерживаемом ее знаменитым курц-галопом. Никита Иванович почувствовав, что входит в силу, принялся громко высказывать недовольство ложным положением, в котором оказался Павел после совершеннолетия. Панин намекал даже, что если такое положение сохранится, то он вынужден будет удалиться от службы.
Брат Панина, Петр Иванович, живший после выхода в отставку в своем подмосковном селе Михалкове, не стеснялся в выражениях. Екатерина называла его не иначе, как своим «первым врагом и персональным оскорбителем». Петр Панин характером был горяч, на язык несдержан, и императрице быстро стало известно, что он крайне неуважительно отзывается как о нравах ее двора, так и об отношении к великому князю. Московскому главнокомандующему князю Михаилу Никитичу Волконскому было поручено установить негласное наблюдение за отставным генералом. Волконский расстарался.
«Все и всех критикует», — доносил он в Петербург. Даже чумной бунт, случившийся в Москве летом 1770 года, он, по показаниям какой-то унтер-офицерской вдовы, связывал с кознями Петра Панина.
Отголоски крамольных речей и поступков Панина доносились до северной столицы вплоть до осени следующего, 1773 года.
«Что касается до известного Вам болтуна, — наставляла Екатерина Волконского 25 сентября 1773 года, — то я здесь кое-кому внушила, чтобы до него дошло, что если он не уймется, то я буду принуждена унимать его, наконец. Но как богатством я брата его осыпала выше его заслуг на сих днях, то я чаю, что и он его уймет же, а дом мой очистится от каверзы».
Обратим внимание на эти слова. Они ясно указывают на главную цель и заботу Екатерины: очистить свой дом от каверзы.
В этом, надо полагать, и заключается скрытый смысл дальнейших событий.
Вечером 23 декабря 1772 года Орлов неожиданно явился в Петербург и остановился у брата, графа Ивана. На другой день он был принят Екатериной в присутствии Елагина и Бецкого. От императрицы Орлов прошел вместе с Паниным в кабинет Павла Петровича и оставался с ним некоторое время один на один. Отобедав затем у брата, Григорий вернулся во дворец и, как ни в чем не бывало, присутствовал на всенощной по случаю наступающего Рождества. Иностранные послы сделали на всякий случай Орлову визиты, который поспешил нанести им ответные в тот же день.
Относительно причин возвращения отставного фаворита двор терялся в догадках. Между Екатериной и Васильчиковым, казалось, царила полная гармония. Орлов при встречах с Васильчиковым вежливо раскланивался. Сольмс, наблюдавший за ним, отправил в Берлин сообщение, что Григорий Орлов вел себя, как всегда, открыто и дружелюбно. Разница состояла лишь в том, что «императрица как будто старалась не замечать его».
Панин, для которого появление Орлова в Петербурге стало неприятной неожиданностью, устроил императрице сцену. Явно не без влияния своего воспитателя Павел также позволил себе морщиться при появлении «дурачины», как он назвал Орлова. И в довершение всего камергеры Протасов и Талызин, обязанные своим счастьем покровительству Орлова, но сумевшие своевременно переметнуться на сторону нового любимца, разносили по петербургским гостиным всякие гадости о том, что происходило во внутренних покоях Зимнего дворца.
Дошло до того, что Екатерина вынуждена была обратиться к Панину с просьбой не отличать этих людей или, по крайней мере, не относиться к ним как к своим друзьям. Панин, однако, холодно заявил, что Екатерина не должна стеснять его в выборе знакомств. Кстати, жену Талызина, считали его любовницей, и он держал себя так, чтобы этому верили. Екатерину все это страшно злило, но по укоренившейся привычке она высказывала свое недовольство не Панину, а другим, подавая этим повод к новым сплетням и пересудам.
В первых числах января 1773 года Орлов отбыл в Ревель, где рассчитывал остаться до лета. Однако уже в марте вновь удивил всех своим появлением в Петербурге. Люди проницательные связали это с прекращением мирных переговоров в Бухаресте, после которых многочисленные недоброжелатели Панина принялись утверждать, что в провале предыдущего, Фокшанского конгресса виноват вовсе не Орлов, а сам Никита Иванович.
Для Панина наступили тяжелые времена. Орлов вел себя так, будто наслаждался обретенной свободой, появляясь на всех балах и во дворце, и в городе. Казалось, он даже не думал мстить своим врагам — играл в шахматы с Никитой Ивановичем, хотя знал, что тот настойчивее других хлопотал о его удалении от двора.
21 мая 1773 года неожиданно последовал высочайший указ о возвращении Орлова на занимаемые им должностям «ввиду поправки здоровья». Это стало сильным ударом по панинской партии. Никита Иванович оказался в глупейшем положении. Всем, в том числе и Екатерине, было прекрасно известно, что в случае возвращения Орлова к делам он грозился немедленно уйти в отставку.
Панин так растерялся, что повел себя не лучшим образом.