Но вернёмся в 1796 год. Через пять лет после смерти Потёмкина, тоже осенью, скончалась благодетельница фаворитки, статс-дамы Браницкой, — императрица Екатерина II. Её кончину Александра Васильевна переживала так же глубоко, как смерть своего дяди. К императорскому двору, который прежде был для неё родным домом, теперь она потеряла всякий интерес Она уехала зимой 1797 года в поместье Белая Церковь, а весной следующего года — в Александрию, к своим паркам, к своим деревьям, к их тишине и покою. Связь с императорским двором осталась только в переписке с вдовствующей императрицей Марией Феодоровной, вдовой Павла I, в постоянном участии в благотворительных делах «Учреждений императрицы Марии Феодоровны», да в редких посещениях Александром I её имения Александрия.
Зная о помощи Александры Васильевны Российскому престолу в международной политике, император Александр I относился к графине Браницкой с большим уважением и всякий раз, посещая Александрию, неизменно звал её вернуться в Петербург.
Нашествие наполеоновских войск имело целью овладение Москвой, древней столицей России, а потому прошло стороной от поместий Браницких. Однако генерал-аншеф граф Ксаверий Петрович Браницкий участвовал в войне 1812 года, а затем в Заграничном походе 1813–1814 годов, освобождая от Наполеона свою родную Польшу. После освобождения и России, и Европы от Наполеона международный престиж России значительно возрос. На Венском конгрессе, созванном в сентябре 1814 года по инициативе России как главной победительницы в Наполеоновских войнах, Александр I был признан буквально героем Конгресс продолжался до июня 1815 года, и всё это время, помимо очень жарких дебатов из-за притязаний держав (Англии, Австрии, Пруссии) на территории, особенно польские, всё же время проходило также в балах, концертах, оперных и драматических представлениях. На конгресс были приглашены вместе с семьями 216 представителей всех европейских держав, в том числе и России. Среди других приглашён был и генерал-аншеф граф Ксаверий Петрович Браницкий с супругой и дочерью. Там, в Вене, Елизавета Ксаверьевна познакомилась с графом Михаилом Семёновичем Воронцовым, героем Отечественной войны 1812 года и заграничных сражений 1813–1814 годов Елизавета, которой в то время было 23 года, была свежа и очень хороша. Граф Воронцов, блистательный молодой генерал, очень увлёкся ею, но не спешил предлагать ей руку и сердце: он опасался, что её связь через отца с польскими магнатами может помешать его дальнейшей карьере. Браницкие вернулись домой, так и не получив предложения от жениха.
Шли годы, но Александра Васильевна продолжала ухаживать за деревьями, а когда стал болеть граф Браницкий, то ухаживать и за своим мужем. В начале 1819 года скончался её муж, польский коронный гетман граф Ксаверий Петрович Браницкий, генерал-аншеф российской армии. Елизавете Ксаверьевне в то время шёл уже 27-й год. И вот тогда ей поступило от Михаила Семёновича Воронцова предложение выйти за него замуж. Предложение было принято, и 20 апреля 1819 года в Париже состоялась свадьба. Графиня Елизавета Ксаверьевна принесла мужу очень большое приданое.
Во Франции пока ещё оставались российские войска, в Париже войсками командовал граф Воронцов, поэтому молодая чета после свадьбы была вынуждена проживать в Париже до приказа о возвращении. Приказ поступил в 1823 году, и Воронцовы вернулись на родину. Граф Воронцов получил назначение генерал-губернатором Новороссии и в связи с такой высокой должностью — титул князя, а ставшая княгиней Елизавета Воронцова была пожалована, ввиду важных заслуг мужа, в статс-дамы Высочайшего двора с награждением орденом Св. Екатерины II степени, что дало ей звание кавалерственной дамы Малого креста.
Через пять лет после смерти мужа, 1 января 1824 года, графиня Александра Васильевна Браницкая, статс-дама Высочайшего двора, кавалерственная дама ордена Св. Екатерины I степени Большого креста, вняв приглашениям императора, вернулась в Петербург ко двору. Александр I пожаловал её самым высоким придворным званием обер-гофмейстерины Высочайшего двора. Но она была дамой екатерининского двора, а новые порядки императрицы Елизаветы Алексеевны и новый для неё уклад вдовствующей императрицы Марии Феодоровны были ей чужды. Она продолжала подражать своей повелительнице Екатерине Великой в походке, в одежде, в общении с придворными, но пришла новая мода во всём, и Александра Васильевна на этом фоне выглядела весьма старомодно. Обер-гофмейстерина Браницкая была уже далеко не молода: она разменяла уже восьмой десяток. Принимать новые порядки, новую моду, новые взгляды на жизнь двора было уже поздно, и графиня Браницкая, окончательно потеряв интерес к императорскому двору, ушла в отставку.
15 августа 1838 года обер-гофмейстерина Высочайшего двора графиня Браницкая скончалась.