После смерти графа А.П. Шувалова в 1789 г. наследники продали особняк в казну. В 1795 г. императрица Екатерина II подарила его своей фрейлине, племяннице светлейшего князя Таврического Г.А. Потемкина – Александре Браницкой.
В 1830 г. сын князя Николая Борисовича Юсупова и княгини Татьяны Васильевны (урожденной Энгельгардт) – князь Борис Николаевич Юсупов – покупает у своей тетки А.В. Браницкой особняк на Мойке (дом № 94). С этого момента (с 1830 по 1917 г.) дворец становится любимой фамильной резиденцией пяти поколений известных представителей именитого российского семейства – князей Юсуповых. Среди них в разные годы появлялись талантливые полководцы, литераторы, музыканты, видные общественные и государственные деятели.
Интересна и судьба Юсуповского дворца. В нем регулярно бывали все российские монархи, от Николая I до последнего российского императора Николая II, великие князья, государственные деятели России и Европы. На сцене дворцового театра выступали мировые знаменитости, известнейшие певцы и композиторы: М. Глинка, П. Виардо, Ф. Лист, А. Даргомыжский, Ф. Шаляпин, Ф. Шопен, И. Штраус и многие другие.
Юсуповский дворец вошел в отечественную и мировую историю как место убийства Григория Распутина. В ночь с 16 на 17 декабря 1916 г. последний хозяин дворца Феликс Юсупов с великим князем Дмитрием Павловичем и монархистом Владимиром Пуришкевичем осуществили этот дерзкий замысел.
На протяжении своего долгого существования Юсуповский дворец неоднократно перестраивался проживающими в нем владельцами. Дворцовое здание и подсобные садовые строения периодически капитально переоборудовались, перепланировались и меняли свои размеры. Интерьеры дворца, их декоративное убранство довольно часто преображались в зависимости от меняющейся моды на внутреннюю отделку зданий. Тем не менее отдельные апартаменты Юсуповского дворца различного назначения до сих пор сохраняют образцы первоначальной отделки своих интерьеров, выполненных в стиле торжественного русского ампира, неоренессанса, необорокко или неоклассицизма.
Владельцы дворца во все времена шли в ногу с научным прогрессом и технической революцией. В начале 90-х годов XIX столетия дворец князей Юсуповых в числе первых столичных зданий электрифицировали, оснастили водяным отоплением, водопроводом и канализацией.
Род Юсуповых в России известен с 1563 г., после приезда в Москву правнука султана Ногайской орды хана Юсуфа, одного из самых сильных и умных правителей того времени. Иван Грозный, чьим союзником он был двадцать лет, почитал Ногайскую орду государством, а самого хана – государем. Царь звал Юсуфа своим «другом и братом», а тот писал царю: «Имеющий тысячу друзей единого друга имеет, имеющий единого врага тысячу врагов имеет».
Правнук Юсуфа – Абдул Мирза – был в конце XVIII в. крещен, наречен Дмитрием и получил от царя Федора Иоанновича титул князя Юсупова. Новоиспеченный русский князь, известный своей отвагой и воинской доблестью, ходил с царем в походы «воевать Крым и Польшу». Однако князь Дмитрий вскорости попал в опалу и даже был лишен половины своего имущества за то, что в постный день попотчевал московского митрополита жареным гусем под видом рыбы.
В своих мемуарах князь Феликс Юсупов рассказывает: «… правнук Дмитрия, князь Николай Борисович, ужиная однажды в Зимнем дворце у императрицы Екатерины II, на ее вопрос, умеет ли он разрезать гуся, отвечал: „Мне ли того не уметь, заплативши столь дорого!“ Императрица пожелала узнать историю и, узнав, очень смеялась. „Прадед ваш получил по заслугам, – сказала она, – и остатка имения на гусей вам хватит еще, и меня с семейством прокормите“». Царица оказалась права, поскольку князь Николай Борисович Юсупов – советник Екатерины II, Павла I, Александра I, Николая I – большой московский барин и последний екатерининский вельможа. Числа своих богатств князь и сам не знал. Любил и собирал все редкое и прекрасное. Его самые разнообразные коллекции в России не имели себе равных. Николай Борисович Юсупов был одним из самых богатейших людей в Российской империи того времени. Ему принадлежали свыше пятидесяти дворцов, в том числе четыре дворца в Санкт-Петербурге. Он владел множеством заводов, фабрик и имениями, рассеянными по всей России. Иные располагались настолько далеко от столицы, что некоторым наследникам князя Юсупова в течение своей жизни так и не удавалось никогда доехать до них. Большинство имений Юсуповых, как правило, занимали огромные пространства земельных и лесных наделов.