Колоссальное наследство принял Николай Борисович Юсупов, единственный сын князя, которого, дабы не путать с дедом, прозвали младшим. Немало досталось и вдове Зинаиде Ивановне, в девичестве Нарышкиной. Княгиня вышла замуж юной девушкой, родила сына и дочь, которую вскоре похоронила, после чего заявила прилюдно, что «рожать мертвецов» больше не будет, как, впрочем, и не будет возражать против забав супруга с «дворовыми девками». Оставшись вдовой с порядочным состоянием, княгиня Юсупова, всегда имевшая репутацию добропорядочной, хозяйственной дамы, вдруг резко переменилась. Ее бурные романы служили главной темой салонных бесед, но больше всего толков вызвало увлечение юным народовольцем. После того как возлюбленный попал в Шлиссельбургскую крепость, 40-летняя княгиня Зинаида демонстративно покинула свет, заявив, что садится в темницу вместе с ним. Этого ей, конечно, не разрешили, но регулярных встреч с юношей, причем не в камере, а в своем петербургском дворце, она все же добилась. Как ни странно, общество Зинаиду Ивановну не осудило ни за эту любовную историю, ни за последующие, и неудивительно, ведь знатное происхождение и деньги обеспечивали право на любое сумасбродство.
Достигнув преклонных лет, порезвившись вволю, Юсупова купила дом на Литейном проспекте, где поселилась… с мужем. Избранником старой княгини стал не старый еще француз, спустивший за ломберным столом состояние своей знатной семьи. Вскоре «молодые» решили уехать во Францию, и Зинаида Ивановна, теперь уже не княгиня Юсупова, а графиня де Шаво маркиза де Серр покинула Россию навсегда.
Ее сыновья и внуки не забыли историю с народовольцем, напротив, вспоминали о ней часто и охотно. За годы слухи переросли в легенду, которой в свое время воспользовались большевики. В поисках юсуповских сокровищ, якобы спрятанных во дворце на Литейном, были сломаны стены и подняты полы. Однако драгоценностей не нашли, зато была обнаружена тайная комната рядом со спальней княгини, где, как говорили, стоял гроб с забальзамированными мужскими останками: может быть он и был тем самым революционером, которого, как известно, повесили, а Зинаида Николаевна выкупила тело, устроив в своем доме нечто похожее на мавзолей.
Сумасбродство старушки-матери никак не повлияло на карьеру ее сына. Николай Борисович Юсупов-младший унаследовал титул и огромное фамильное состояние, будучи 22-летним юношей. Диплом Петербургского университета, где он прошел полный курс правоведения, не принес успехов на государственной службе, что для человека молодого, не тщеславного и к тому же очень богатого не стало даже малой неприятностью. Место гофмейстера императорского двора перешло к нему по наследству, было не слишком хлопотным и потому удобным для основной деятельности, в которой князь Николай смог проявить способности и даже страсть – в опекунских советах Общества призрения и училища глухонемых ему работалось гораздо приятнее, чем при дворе. Во время Крымской войны на юсуповские средства воевали 2 пехотных батальона, а молодой Юсупов, так и не понюхав пороха, получил звание камер-юнкера.
Продолжив семейную традицию, Николай Борисович стал таким же, как и дед, меценатом и коллекционером предметов искусства. Живопись и скульптура его почти не увлекали, зато музыка захватила целиком, порой преобладая над любимой литературой. Оказывая поддержку музыкантам и композиторам, в этой сфере он многого добился и сам, к почтенным годам заслужив звание почетного члена Римской и Парижской консерваторий. Современники знали князя Николая не только как музыканта, но и как писателя – историка и философа-богослова, – посвятившего немалую часть жизни сочинению «О роде князей Юсуповых».
Изданное в 1860-х годах в виде роскошного двухтомника, оно пополнило фонды Императорской библиотеки, которой автор управлял в должности вице-директора.
Николай Борисович был женат на Татьяне Александровне, графине де Рибопьер. Супруга подарила ему троих детей, но, к огромному сожалению отца и к несчастью для семьи, единственный сын Борис умер в младенчестве от скарлатины. Дочери выросли девушками красивыми, умными, к радости родителей, болели редко, может быть потому, что постоянно жили в Архангельском. Николай Борисович, очень занятый на службе, в деревню приезжал редко и ненадолго. Рассказывали, что княжна Татьяна много читала, а княжна Зинаида больше книг любила конные прогулки. Княгиня, озабоченная будущим дочерей, приглашала в усадьбу знакомых, изредка устраивая небольшие праздники, но чаще всего музыкальные вечера в одноименной гостиной, служившей одновременно и кабинетом.