В XVII-XVIII веках усадьба переменила много владельцев. В XVII веке после Пожарского ее владельцами были Хованские (по другим сведениям князья Голицыны). В конце ХVII - начале XVIII века участком владели Нарышкины, и вполне вероятно, что именно тогда на месте боярских палат было построено новое дворцовое здание. Специалисты находят в его декоре черты "нарышкинского барокко". Затем дворец перешел к князю А.П.Долгорукову, после него к князю Б.С.Голицыну. При Анне Иоанновне здесь помещался Монетный двор, при Елизавете - Камер-коллегия, ведавшая казенными сборами, одно время его занимал Немецкий почтамт. В конце ХVIII века дворец служил резиденцией турецкого посла. Среди его владельцев в этот период значатся имена князя М.Н.Хованского, камергера И.Г.Наумова, князей М.Н. и П.М. Волконских, княгини А.М.Прозоровской. При М.Н.Волконском была произведена перестройка дома; "согласно с желанием владельца, - пишет Снегирев, художники, стараясь придать старинному его дому все возможное великолепие, положили на нем отпечаток вкуса ХVIII столетия". Снегирев называет имена художников, которые "занимались украшением этих палат": "сперва славный скульптор Юст, а потом Кампорези".
Дворец перестраивался и в последующие годы, но сохраняя некоторые особенности "царских и боярских палат" и "особенный тип" дворца времени царствования Петра I. "Хотя в первом этаже, - пишет Снегирев, - отчасти сохранилось прежнее расположение комнат, но в некоторых из них, вместо коробовых сводов, сделаны потолки... Нижний этаж, прежде составлявший подвалы с коробовыми сводами, недавно обращен в жилые покои, где помещаются библиотека, аптека, кладовая и баня липовая; под ним находится небольшой подвал. Стиль фасада его не сходен с стилем задней части, сохранившей еще следы первоначального стиля здания, он древнее фасада, как можно судить по окнам с трехугольными сандриками и по закладенной обширной арке в средине, где, вероятно, был проезд".
В 1811 году дворец купил граф Федор Васильевич Ростопчин, в 1842 году его наследники продали дворец графу В.В.Орлову-Денисову, герою Отечественной войны 1812 года, с 1857 по 1882 годы дворцом владела известная богачка Д.А.Шипова, устраивавшая в нем роскошные балы, в 1882 году дворец приобрел купец Э.Ф.Маттерн, а в следующем году перепродал его "Московскому страховому обществу от огня", которое и размещалось в нем вплоть до 1917 года. Кроме того, флигеля сдавались под квартиры, здесь жили или бывали многие известные люди: историк М.П.Погодин, поэт Ф.И.Тютчев, купец и книгоиздатель К.Т.Солдатенков и другие.
Но, несмотря на столь блестящий ряд имен людей замечательных и интересных, в истории за дворцом твердо удерживается название: "Дом Ростопчина".
"Из них, - пишет в своей брошюре Снегирев о владельцах и обитателях дома, - особенно обращает на себя внимание Московский Главнокомандующий граф Ростопчин, сроднивший свое имя с судьбою Москвы в 1812 году... Если драгоценен для нас надгробный памятник над прахом великого мужа, то тем драгоценнее его дом, представитель его образа жизни и обихода, свидетель его дел и слов, предсмертных обетов, воздыханий и молитв. Там его немой прах, здесь его дух; там мрачно и таинственно, здесь все еще живо и очевидно. Редко кто посетит его загородную и уединенную могилу, которая только возвещает общий человечеству удел - тление; но всяк, кто пройдет мимо дома его, по большой улице города, невольно вспомнит знаменитого хозяина. (Ростопчин покоится на Пятницком кладбище, давно вошедшем в черту Москвы, и на дальнейшем нашем пути по Троицкой дороге мы посетим его. В.М.) Так жители с берегов Темзы, Сены и Рейна с некоторым подобострастием останавливаются пред домом графа Ростопчина в Москве и, указывая на него, говорят: "Здесь жил тот, кто сжег Москву, уступленную Наполеону".
Это было написано полтораста лет тому назад. Конечно, теперь "жители берегов Темзы, Сены и Рейна" здесь не останавливаются и не произносят тех слов, которые произносили когда-то. Но соотечественниками Ростопчина его имя не забывалось в прошлом веке и не забыто в нынешнем. Каждый, хоть немного заинтересовавшийся Отечественной войной 1812 года и особенно событиями, связанными с Москвой, в самом начале своих занятий встречается с ним как с одним из главных действующих лиц этой эпохи. Знают его имя и читатели самого читаемого романа Л.Н.Толстого "Война и мир", в нескольких главах которого говорится о Ростопчине, причем действие этих эпизодов происходит в его доме на Большой Лубянке и возле него.
Федор Васильевич Ростопчин принадлежал к той части московского общества второй половины ХVIII - начала ХIX века, которая играла огромную роль в жизни древней столицы. Этот круг составляли вельможи, по тем или иным причинам вынужденные оставить двор и из Петербурга переехать на жительство в Москву. Императрица Екатерина II относилась к этим москвичам с настороженностью и нелюбовью, подозревая в них намерение "сопротивляться доброму порядку".
Но в Москве к ним относились по-иному.