В 1813 году Браммел стоял на невиданной высоте. Его звезда светила так ярко, что начала ослеплять его. Его отношения с принцем Уэльским с некоторых пор сделались весьма натянутыми. Старея, принц тучнел всё больше и больше, а Браммел с гордой насмешливостью неувядаемой красоты подтрунивал над этим: он перенёс прозвище дворцового привратника-толстяка Big Ben (Большой Бен) на его хозяина, а его фаворитку Фиц-Герберт звал Benina. Однажды в Гайд-парке Браммел сказал, метя в идущего принца: «Кто этот толстый человек?» Ни один биограф Браммела не обходит стороной знаменитый анекдот со звонком. Передают, что во время очередной попойки за ужином Браммел, чтобы выиграть самое непочтительное в мире пари, указал принцу на звонок: «Джордж, позвоните». Принц повиновался, но сказал вошедшему слуге: «Уложите в постель этого пьяницу». Сам Браммел отрицал этот рассказ.
Принц не мог потерпеть подобной развязной уверенности в своём могуществе от человека, которого продолжал считать своим протеже, и в 1813 году решил просто отдалить Браммела от себя в надежде, что идол дендизма падёт сам собой, но тот продолжал стоять, ни на йоту не утратив своего положения в обществе. Более того, до слуха принца дошло, что директоры клуба Уатье серьёзно обсуждали, пригласить ли на устраиваемое торжество принца или нет, так как он поссорился с Браммелом, без которого, очевидно, праздник не состоится. Более всего принца взбесило то обстоятельство, что Браммел с дерзким великодушием
Размолвка с принцем обошлась Браммелу сравнительно дёшево, он мог делать вид, что ничего особенного не произошло. Но на беду, их ссора совпала по времени с денежными затруднениями, с которыми Браммелу до сих пор удавалось справляться.
В клубе Уатье играли наиболее рьяно, и Браммел мог оставаться на высоте, лишь играя как все. Он был игрок, и игрок страстный. Неудачная игра значительно подорвала его состояние — основу его элегантности. А в 1814 году приехавшие в Англию русские и прусские офицеры ещё больше взвинтили ставки. Это погубило Браммела — он прибегнул к услугам ростовщиков и погряз в долгах. При этом он начал терять достоинство, в нём появился цинизм, ранее ему не свойственный.
У Браммела было и своё отречение, и своя Святая Елена. С математической точностью высчитав время своего разорения, он не стал дожидаться развязки. 16 мая 1816 года, пообедав каплуном, присланным ему Уатье, он выпил бутылку бордо и велел закладывать карету. 17-го Браммел был в Дувре, а 18-го навсегда покинул Англию. Его вещи были проданы с аукциона. В одной из табакерок нашли его собственноручную записку: «Я предназначал эту табакерку принцу-регенту, если бы он лучше держал себя со мной».
Браммел поселился в Кале, этом убежище английских должников. Остатки его состояния и помощь друзей позволили ему ещё несколько лет носить прозвище «царь Кале». Оттуда он перебрался в Париж, но ненадолго. Беседа, составлявшая один из главных элементов его обаяния, сделалась для него невозможной, а Браммел, коверкающий французские фразы, немыслим.
Его престиж всё же пережил его разорение. Кале надолго превратился в место паломничества европейской аристократии. Браммел принимал её у себя с гордой надменностью. Потеряв корону, он сохранил королевские привычки. Когда одни лорд прислал ему приглашение на обед, который назначил в три часа пополудни, Браммел ответил, что никогда не ест в этот час и отклонил приглашение. Своих новых подданных «царь Кале» и вовсе стыдился. Однажды некий буржуа, пригласивший в этот день Браммела на обед, приветствовал eгo, идущего с неким джентльменом. Браммел невозмутимо обратился к приятелю: «Кто это вас приветствует?»
Мир беспощаден к своим свергнутым владыкам, он поражает их в самые уязвимые места. Конец Браммела был ужасен. Король изящества был затравлен нищетой, один из самых блестящих умов эпохи погасило безумие. Палаты сумасшедшего дома стали расплатой за палаты Виндзора. Браммела охватила страсть к элегантности: когда ему кланялись, он не снимал шляпу, боясь испортить прическу; в определённые дни он приказывал прислуге убрать помещение по-праздничному, надевал свой голубой фрак с золотыми пуговицами, пикейный жилет и чёрные обтягивающие панталоны, как в дни молодости, и застывал посреди комнаты… Затем он начинал громко выкликать имена принца Уэльского, леди Коннигам и прочих высокопоставленных лиц Англии — ему казалось, что они входят к нему. Он предлагал руку дамам, заговаривал с мужчинами — это длилось часами… Вдруг разум возвращался к нему, и он падал в кресло, заливаясь слезами…
Излагать дальнейшее излишне, ибо безумие — самый безнадёжный из лабиринтов. Браммел заблудился в нем. Мы же вольны покинуть его, когда вздумается.
Неутомимая рука сэра Вальтера Скотта