Сплетни дошли и до государя. Александр I воспользовался этим для того, чтобы в назидание другим пресечь всякое вольнодумство в России, и решил избавиться от неудобного ему человека. К тому же Дмитриев‑Мамонов хранил у себя символы династии Рюриковичей – окровавленную рубашку убиенного царевича Дмитрия, сына Ивана Грозного, и знамя князя Пожарского. Демонстрация символов всем желающим воспринималась властью как откровенное презрение к династии Романовых. В 1825 г. над Дмитриевым‑Мамоновым и его имуществом определили опекунство в лице полного завистью двоюродного брата.
В результате Матвей Александрович Дмитриев‑Мамонов против его воли был помещен под домашний арест. Держали его сначала в доме в Малом Знаменском, а потом на даче неподалеку от Нескучного сада. Но, несмотря на такие печальные обстоятельства, память о графе‑филантропе все же сохранилась: Лев Толстой при создании образа Пьера Безухова наделил своего героя многими чертами Дмитриева‑Мамонова.
В конце позапрошлого века одну из квартир в доме нанимала семья художника В.А. Серова.
Валентин Александрович Серов, с которым мы уже встречались на Волхонке, был одним из старожилов описываемого нами района. Его семья жила здесь примерно с 1897 г. Сначала Серов жил в Малом Знаменском переулке, дом 5 (до 1899 г.), затем в Большом Знаменском переулке, дом 6 (1900–1906). На Волхонке в доме 9 была его мастерская. А неподалеку – у Знаменки, в Староваганьковском переулке, дом 21, художник жил с 1908 г. до своей смерти в 1911 г.
Когда Серовы поселились в этом доме в 1897 г., он принадлежал князьям Долгоруковым – Петру и Павлу. А местность эта называлась Мучным городком. В городок входили дома, выходившие на три переулка: два Знаменских и Антипьевский (ныне Колымажный). «Вспоминаю нашу квартиру в доме Долгоруковых в Знаменском переулке, – пишет в своих воспоминаниях дочь Серова Ольга, – при доме был огромный двор и большой чудесный сад. Там, где теперь Музей изобразительных искусств имени Пушкина, находился плац, на котором проезжали верховых лошадей, и мы детьми залезали на деревья и часами наблюдали это зрелище. Жили мы внизу, в первом этаже, в левом крыле дома. Дом был старинный, стены в нем были невероятной толщины, подоконники на окнах такие глубокие, что оконные ниши казались маленькими комнатками.
К взрослым приходили гости: пианист Майкапар, Пастернаки, Досекины, Мануйловы, Кончаловские, из Петербурга приезжали Бенуа, Дягилев, Философов. Как‑то, когда мы завтракали, прямо с улицы, раскатившись по широкому двору, въехал к нам в столовую на велосипеде Паоло Трубецкой, с которым папа был очень дружен».
Дочь Серова упоминает здесь многих друзей и знакомых семьи Серовых. Это Самуил Моисеевич Майкапар (1867–1938) – композитор, у которого О.В. Серова училась в консерватории; Леонид Осипович Пастернак и его семья; семья живописца‑пейзажиста Николая Васильевича Досекина (1863–1935); семья Александра Аполлоновича Мануйлова (1861–1929) – профессора политической экономии, в 1905–1910 гг. ректора Московского университета; семья Петра Петровича Кончаловского (1839–1904) – переводчика классиков западноевропейской литературы, книгоиздателя. А также Александр Николаевич Бенуа (1870–1960) – живописец, критик и историк искусства, один из основателей объединения художников «Мир искусства»; Сергей Павлович Дягилев (1872–1929) – руководитель объединения «Мир искусства» и редактор одноименного журнала (вместе с А.Н. Бенуа), организатор русских сезонов в Париже; Дмитрий Владимирович Философов (1872–1940) – критик и публицист, сотрудник журнала «Мир искусства». Павел (Паоло) Петрович Трубецкой (1866–1938) – скульптор, преподававший в Московском училище живописи, ваяния и зодчества. Вот в такой творческой атмосфере воспитывались дети Серовых.
Всего у Валентина Александровича и Ольги Федоровны (1865–1927) Серовых было шестеро детей: Ольга (1890–1946), названная так в честь матери, автор воспоминаний; Александр (1892–1959), инженер, после 1917 г. эмигрировавший за границу; Георгий (1894–1929), актер первой студии МХТ, после 1917 г. жил во Франции, где стал известен как кинорежиссер; Михаил (1896–1938), Антон (1901–1942), Наталья (1908–1950). Никто из детей Серова не повторил его успеха в живописи, но все же среди потомков художника есть известный живописец. Это академик живописи Дмитрий Жилинский, внук сводной сестры Серова, ставший знаменитым после написания в начале 1960‑х гг. картины «Гимнасты СССР».
Вернемся к воспоминаниям Ольги Серовой: «С этой квартирой пришлось расстаться, так как она понадобилась владельцам, и мы переехали по соседству, в дом Улановых». Однако двоюродная сестра художника, Н.Я. Симонович‑Ефимова, пишет, что Серов не сразу поселился в доме Улановых в Большом Знаменском; сначала он «жил на Малой Дмитровке, близ Страстного, в мало понравившейся ему обычной городской квартире… Не без трудностей, связанных с нарушением контракта с хозяином дома, он бросил среди зимы эту квартиру. Серовы переехали тогда в Большой Знаменский. в двухэтажный дом купцов Улановых…»