Оставшись не у дел, князь Владимир Николаевич, весьма состоятельный человек, занялся своим хозяйством, купил в 1906 г. у графа Владимира Александровича Стенбок-Фермора арендуемый у него дом на набережной Мойки, 90/1, заново отделал и меблировал его. Тот же генерал-лейтенант Мосолов, навестив своего приятеля в доме на Мойке, после ремонта особняка отметил в своих воспоминаниях: «…особняк по внутренней обстановке походит на музей. У супруги собирались дипломаты и дамы, щеголяли в платьях от лучших портных Парижа». Время опальный князь прекрасно скрашивал своим фанатичным увлечением автомобилями. Поговаривали даже, что «…князь В.Н. Орлов являлся горячим поборником идеи автомобилизма и якобы принял на себя функции личного шофера великих князей».
Супруга князя Орлова – Ольга Константиновна (1872–1923) – всегда изысканно одевалась и являлась признанной законодательницей мод петербургского бомонда. В любое время элегантно одетая, первая модница Северной столицы, Ольга Константиновна величественно отодвигала петербургских дам высшего света на второй план безумной роскошью и необычностью своих многочисленных парижских туалетов. Княгиня Орлова, в девичестве княжна Белосельская-Белозерская, была не только родовитой, но и весьма богатой дамой. Ее батюшка, князь К.Э. Белосельский-Белозерский, являлся потомком древнейшего дворянского рода Рюриковичей – русской княжеской и царской династии, в том числе великих князей киевских, владимирских, московских и русских царей. Последним правителем этой династии стал русский царь – сын Ивана IV Грозного – Федор Иванович. Мать-княгиня была родной сестрой знаменитого генерала Михаила Дмитриевича Скобелева.
Современники считали княгиню О.К. Орлову «…самой элегантной женщиной Петербурга». В столице о ней распространялись самые невероятные истории, слухи и бесконечные рассказы о ее безумных тратах на туалеты и шляпы. «Санкт-Петербургские ведомости» отмечали: «Княгиня Орлова была, несомненно, самой выдающейся фигурой петербургского большого света. И хотя она не была красавицей, но выглядела до того грациозно, что ее невозможно было не заметить в обществе. И действительно, княгиня была наделена пусть жестковато-холодной, но грациозностью, пусть предстающим как бы на постаменте, но благородством, пусть несколько угловатым, но изяществом. Гордо посаженная голова на красивой шее, как будто бы нелепая шляпа, ампирный стиль в обстановке и модерн в одежде княгини».
Правдоподобность такой характеристики княгини Ольги Константиновны Орловой подтверждается в ее знаменитом портрете работы Валентина Александровича Серова. Известно, что Серов не любил выполнять заказы богатых и знатных людей и лишь изредка все же делал некоторым исключения. В частности, он с удовольствием согласился написать портрет княгини Орловой, поскольку для него был интересен образ этой женщины из аристократического круга с переданной по наследству значительностью своего существования, человека, лишенного общепринятого чувства душевного тепла, естественной доброты к окружающим. При дружеском разговоре с директором Эрмитажа и заместителем управляющего музея, императора Александра III, графом Д.И. Толстым, Серов довольно обстоятельно разъяснил своему приятелю план задуманного решения создания портретного образа княгини Орловой, иллюстрируя свой рассказ отдельными меткими фразами: «А я Ольга Орлова, и мне все позволено», «И все, что я делаю, хорошо!».
Образ королевы столичного бомонда оказался весьма сложным и довольно противоречивым. В портрете Ольги Константиновны Орловой Серов – художник редкого таланта – подметил не только классовую сущность знаменитой столичной аристократки, а написал изображение женщины с чертами целого ряда человеческих недостатков. Портрет справедливо назвали шедевром. Он был написан Валентином Александровичем в самом конце его жизни. Работа над портретом заняла три года и проходила в двух знаменитых столичных домах – в одном из залов нового особняка князя В.Н. Орлова на набережной реки Мойки, 90/1, или в старинном дворце ее родителей – князей Белосельских-Белозерских, на углу Невского проспекта и набережной реки Фонтанки.
В феврале 1911 г. художник наконец завершил работу над портретом княгини Орловой и впервые продемонстрировал его своим друзьям – художнику А.Н. Бенуа и графу Д.И. Толстому – директору Эрмитажа. Удовлетворенный завершением работы Серов согласился с их объективной оценкой своего труда, чувствуя при этом, что на этот раз действительно произвел на свет нечто особенное.