Присутствовать на торжественных молебнах в кремлевских соборах Долгоруков был обязан по должности. Но его не раз видели и на богослужениях в маленьких тесных церквях, спрятавшихся в московских переулках, причем, не желая быть узнанным, князь приходил часто не в мундире, а в партикулярном статском платье. А сколько раз его встречали в домовом храме Московского университета на Татьянин день!
Была у него еще одна привязанность. Долгоруков, например, любил попариться в популярнейших Сандуновских банях, где для него в отдельном номере семейного отделения всегда были приготовлены серебряные тазы и шайки. Хотя у князя в особняке были мраморные ванны. И все знали, что он это любит, и за это тоже уважали его. Была в самом факте посещения Долгоруковым Сандунов некая объединяющая его с остальными москвичами платформа.
Быть может, любовь к русской бане и березовым веникам и позволила Владимиру Андреевичу сохранить до преклонных лет отличную выправку и офицерскую стать. Не злоупотреблял он и всякого рода нехорошими излишествами. «Это был генерал еще николаевских времен, и по внешнему виду напоминавший эти или даже еще александровские времена, с зачесанными кверху височками, с нафабренными усами, невысокого роста, затянутый в мундир, в эполетах, с бесчисленными орденами на груди. Говорили, что он носит парик, что красится, что под мундиром носит корсет. Это был бодрый и даже молодцеватый старик-генерал», - отмечал Богословский.
Но и удельные князья стареют и болеют, особенно когда им за восемьдесят. И вскоре после грандиозно отпразднованного юбилея Владимир Андреевич запросился в отставку, последовавшую 26 февраля 1891 года. А вскоре Москва получила нового генерал-губернатора - великого князя Сергея Александровича Романова. Правда, злые языки утверждали, что Долгоруков ушел не сам, а его «ушли». Дескать, из-за его напряженных отношений с царской семьей. Не упускал он случая дать почувствовать царствующему дому, что происходит из древнего рода. А двор с трудом терпел его и в конце концов вынудил подать в отставку. А сам Владимир Андреевич уходить не собирался - хотел умереть в Москве, здесь, среди своих. Узнав же об отставке, сначала не поверил, прослезился и спросил: «А часовых. часовых около моего дома оставят? Неужели тоже уберут. и часовых?!» И часовых тоже убрали.
Как писал Влас Дорошевич, с отставкой Долгорукова «барственный период “старой Москвы” кончился. Пришли новые люди на Москву, чужие люди. Ломать стали Москву. По-своему переиначивать начали нашу старуху. Участком запахло. Участком там, где пахло романтизмом. И только в глубине ушедшей в себя, съежившейся Москвы накопилось, кипело, неслышно бурлило недовольство. Кипело, чтобы вырваться потом в бешеных демонстрациях, в банкетах и митингах, полных непримиримой ненависти, в безумии баррикад».
Лишенный смысла существования, вырванный из привычного ритма жизни, отъятый из любимой Москвы, бывший градоначальник выехал подлечиться во Францию. И так же как и Д. В. Голицын, Долгоруков скончался в Париже, 20 июня 1891 года. Похоронили князя, согласно завещанию, на Смоленском кладбище в Петербурге.
С 1891 по 1905 год московским военным генерал-губернатором был великий князь Сергей Александрович. Немедля взялся он за перестройку своей резиденции на Тверской.
По инициативе Сергея Александровича в 1892 году в доме на Тверской началось создание портретной галереи бывших московских генерал-губернаторов.
При великом князе в 1892 году закончилось строительство здания Московской городской думы на Воскресенской площади, начатое еще при Долгорукове, завершилось сооружение новой очереди Мытищинского водопровода в 1893 году. А в 1899 году открылось регулярное движение первого московского трамвая от Бутырской заставы до Петровского парка. Значительной вехой в культурной жизни Первопрестольной стало открытие в 1898 году Московского Художественного театра в помещении театра «Эрмитаж».
В немалой степени мнение о князе как о государственном деятеле сформировано под влиянием его специфической личной жизни, особенности которой он порою даже и не пытался скрывать. Были у него и вполне определенные политические взгляды. На следующий год после отставки Долгорукова князь не только перестроил его резиденцию, но и выслал из Москвы 17 тысяч ремесленников-евреев, из-за чего горожанам негде стало чинить обувь.