Между тем от напряженной работы здоровье министра стало сильно сдавать. В 1839 году с ним случился легкий апоплексический удар. Поправившись, он начал проситься в отставку, заблаговременно подыскав и купив дом, чувствуя, что казенную квартиру скоро придется оставить. Государь долго не соглашался, предпочитая давать ему отпуска для поправления здоровья. Однако в начале 1844 года Канкрин снова опасно заболел и 1 мая был наконец освобожден от должности, после чего смог водвориться в собственном особняке на Воскресенской набережной.
Эти места были ему давно знакомы: до того, как он стал министром, ему принадлежал дом на Шпалерной улице (в то время она тоже именовалась Воскресенской), почти напротив его теперешнего жилища. Будущий министр поселился там со своей супругой Екатериной Захаровной (он называл ее по отчеству – «Сахаровной», выговаривая это слово на немецкий лад), на которой женился в 1816 году, еще сравнительно молодым человеком.
И вот теперь ему суждено было вернуться сюда снова, но уже больным стариком, стоящим на краю могилы. Некогда юная и очаровательная жена его, сестра декабриста А. З. Муравьева, тоже изменилась до неузнаваемости, превратившись в безобразно толстую пожилую женщину, единственной страстью которой сделалась игра в вист. Их семейная жизнь сложилась удачно: супруги любили друг друга и были счастливы, в том числе и в детях, которых имели шестеро. В последний день жизни Егора Францевича жена читала ему вслух политико-экономический трактат. Она пережила мужа всего четырьмя годами.
В 1851 году дом Канкрина переходит к генерал-адъютанту С. А. Юрьевичу, купившему его на имя жены. И Семен Андреевич, подобно предыдущему владельцу, поселился здесь, выйдя в отставку с расстроенным здоровьем, в надежде обрести все ту же тихую пристань.
Будущий генерал от инфантерии родился в 1798 году, воспитывался в Первом кадетском корпусе, а затем преподавал в нем. Там он обратил на себя внимание великого князя Николая Павловича, и по восшествии на престол тот назначил его состоять при особе цесаревича Александра Николаевича. В 1837 году в составе его свиты он участвовал в путешествии по России, предпринятом наследником, по выражению А. И. Герцена, «чтобы себя ей показать и ее посмотреть». Интересны письма С. А. Юрьевича к жене, где он делится впечатлениями от этой поездки и описывает ее подробности.
Семен Алексеевич продолжал состоять при цесаревиче до 1850 года, заведуя его перепиской, а затем, лишившись зрения, был уволен от дел и провел остаток жизни в своем доме, который наследники после его смерти продали академику архитектуры, военному инженеру К. Я. Соколову.
Новый владелец, как и следовало ожидать, первым делом принялся за перестройку дома. Для этого им были составлены два проекта: первый, рассмотренный и одобренный в апреле 1867 года, предполагал лишь небольшое повышение окон третьего этажа, а второй, утвержденный тремя месяцами позже, предусматривал оформление фасада в стиле раннего французского классицизма и внутреннюю перестройку всего здания. Последний проект и был осуществлен, после чего дом принял тот вид, который сохраняет и по сей день. В это же время К. Я. Соколов возводил одно из главных своих сооружений – хирургическую клинику Виллие на углу Большого Сампсониевского проспекта и Боткинской улицы.
В 1877 году Соколов продал дом действительному статскому советнику М. Е. Петрову, надстроившему двухэтажный флигель, выходивший на Шпалерную, до трех этажей. Тогда же был переделан его старинный фасад, сохранявшийся в неприкосновенности с 1770-х годов. Через пятнадцать лет сын владельца, Г. М. Петров, с которым нам еще предстоит встретиться, произвел по проекту К. Вергейма еще одну внутреннюю перестройку главного здания, а в 1899 году продал весь участок Елизавете Петровне Скоропадской, сестре будущего недолговечного гетмана «Украинской державы».
Хотя дом был куплен на имя Елизаветы, которой в ту пору исполнилось всего лишь двадцать один год, сама она в нем поселиться не успела; там жила ее мать Мария Андреевна, урожденная Миклашевская, вдова полтавского помещика, в прошлом бравого кавалергарда Петра Ивановича Скоропадского. Ее сын, Павел Петрович, служивший, как и отец, в кавалергардском полку, жил со своей семьей отдельно от нее, на Фурштатской.
Очевидно, готовясь к приезду дочери, которую предстояло вывозить в свет, вдова затеяла ремонт и уже успела изменить по проекту С. А. Данини фасад на Шпалерную, но тут случилось несчастье: 14 августа того же 1899 года ее дочь Елизавета неожиданно скончалась. Для бедной матери все сразу потеряло смысл; она поспешно продала только что подновленный дом владельцу соседнего особняка графу А. Д. Шереметеву.