После первых и очевидных всем успехов в реформе органов власти у Лексея возникли недоразумения со старшим братом, их отношения заметно стали осложняться. Вероятно, сказалась ревность — то, что не удавалось тому за годы правления, младший же достиг всего за полгода, хоть и в зачатке, к тому же великим трудом и терпением, чем сам Павел похвалиться не мог. Да и наветы обиженных чинов из знатных родов, вероятно, повлияли, а таких оказалось немало, так что составили во дворе довольно влиятельную оппозицию канцлеру-реформатору. Пока обходилось лишь недовольством государя по каким-то принятым Лексеем мерам — все таки понимал нужду в энергичном и решительном помощнике. Но не менее отчетливо осознавал и другое — сам он все больше отстраняется от власти, практически все важные для державы дела и вопросы переходят к брату, пусть тот и согласовывает с ним. А такой расклад все больше раздражал Павла, в воспалившемся от подозрений воображении явственно представлялась картина заговора против него и будущего свержения призванным им самим узурпатором.
В конце осени случилось то, что должно было когда-то при подобном складывании отношений — братья поссорились, между ними произошел разрыв. В тот злосчастный для обоих день Лексей прибыл с докладом в Михайловский замок, лишь приступил к речи о необходимости увольнения министра иностранных дел Воронцова и вскрывшихся фактах его тайных связей с недружественными державами — Англией и Османской империей, — как государь перебил, даже не дослушав:
— Ты с ума сошел, Лексей, порочишь честнейшего мужа, верой и правдой служащего мне с первого дня! А уж обвинять его в отношениях с Англией — глупейший оговор, нет более ярого противника, чем он. Еще скажу прямо — не будь тебя, именно его собирался поставить канцлером. Думаю, в том твои козни — ты убираешь верных мне людей и ставишь своих, — вижу измену против меня, наверняка хочешь стать узурпатором по примеру своего дружка Бонапарта — уж я знаю, как вы с ним спелись, якшаетесь за моей спиной! Все, больше слушать не хочу, сегодня же напишу указ о твоем увольнении! А тебя самого с твоими выродками и распутными бабами отправлю в ссылку, не смей без моего дозволения вернуться в столицу. Лишаю воинского чина, от милости своей оставляю награды и имущество. Но если узнаю, что продолжаешь строить против меня заговор, то отберу все, пойдешь на каторгу — в том слово мое твердое!
Лексей слушал разгневанного государя и молчал, даже не пытаясь оправдаться — слова бесполезны, никакие доводы не исправят дело. У Павла сейчас, по сути, помрачнение разума и истерия, прежние страхи и беспочвенные подозрения возобладали в нем. Признался себе, что в том немалое его упущение — ведь видел, что не все ладно с братом, но не принял меры, занятый своими заботами. Да и тот доверительный контакт между ними, без которого невозможно хоть как-то вмешаться, незаметно растаял, сменился раздражением и недовольством. Страха или злости не испытывал, лишь обиду на себя, что напрасно доверился родному по крови, но не душе человеку, потратил столько сил и душевных стараний ради того, кто этого недостоин. Тут же одернул — не ради Павла, а родины, именно для ее блага приложил свои способности и знания. Выслушал до конца брата-государя, после, сказав лишь: — Честь имею, — покинул ставшую чужой и неприятной императорскую резиденцию.
Из чувства долга продолжал исполнять служебные обязанности, пока через неделю его не сменил новый канцлер — тот самый Воронцов, — еще увидел на лице преемника торжествующую ухмылку и злорадство — по-видимому, Павел сообщил о предъявленных тому обвинениях. А вскоре получил из императорской канцелярии указ о понижении воинского чина до вице-адмирала и предписание о ссылке в Тверь, по месту его первого имения. В принципе, Лексей ожидал худшего, вплоть до ссылки в Сибирь или какую-нибудь Тьмутаракань, но, по-видимому, чуть поостыв, государь сам понял несуразность подобной меры — по голому подозрению без каких-либо доказательств обвинять в государственной измене героя победы над флотом Англии было бы чересчур. А так выходит опала, самодержец удалил из столицы за какую-то провинность, что нередко случалось прежде с другими мужами и ничего особого в том нет. Ведь милость правителя изменчива, как погода в марте — сегодня ты в опале, а завтра снова на коне. Дать чин ниже вице-адмирала Павел не мог по уложению о статусе кавалера ордена Андрея Первозванного, лишать же сей награды не решился — вызвал бы совсем не нужный ему скандал.