Постепенно деятельность Матвея Александровича стала носить отчётливый донкихотский характер. Он приступил к строительству в Дубровицах крепостных стен, вооружил своих крестьян и начал свозить в имение пушки. «Военные забавы» графа окончились его арестом, поводом к которому послужило избиение им своего управляющего. Мамонов оказал бурное сопротивление полиции. Его доставили в Москву и подвергли медицинскому освидетельствованию, а потом и принудительному лечению. После того как граф отказался присягнуть Николаю I, его официально объявили сумасшедшим, а над имениями назначили опеку. Несчастный Матвей Александрович последние 40 лет своей жизни провёл в усадьбе Васильевское на Воробьёвых горах, которую москвичи называли «Мамоновой дачей», и скончался в 1863 году в результате несчастного случая. С его смертью графская ветвь рода Дмитриевых-Мамоновых прекратила своё существование.
В 1913 году графский титул (с передачей старшему в роде) был пожалован представителю старшей ветви рода — племяннику Эммануила Александровича Александру Ипполитовичу (1847 — 1915). К тому времени он уже был известным историком и учёным. Составил первое описание Великого Сибирского пути (Транссибирской магистрали), издал работы по истории пугачёвщины и пребывания декабристов в Сибири и Зауралье, являлся председателем Западно-Сибирского отделения Русского Географического общества и действительным членом Общества любителей естествознания, антропологии и этнографии при Московском университете.
Его сын граф Василий Александрович незадолго перед революцией издал руководство по банковскому делу. После 1917 года он эмигрировал, а его сын Александр Васильевич скончался в Брюсселе в 1992 году.
Мужем дочери адмирала Василия Афанасьевича Екатерины был Иван Александрович Фонвизин (тогда эта фамилия писалась Фон-Визин). Их дети прославились в екатерининскую эпоху. Денис Иванович Фонвизин (между 1743 и 1745 — 1792) стал великим драматургом, автором двух бессмертных пьес «Бригадир» и «Недоросль», а его брат Павел (ум. в 1803) — директором Московского университета. Их родной племянник Михаил Александрович (1787 — 1854) принимал деятельное участие в дивжении декабристов. Сестра Дениса Фонвизина — Феодосия вышла замуж за премьер-майора Василия Алексеевича Аргамакова — сына первого директора Московского университета (1755 — 1757) Алексея Михайловича Аргамакова (1711 — 1757).
Дворяне Дмитриевы.
В отличие от Дмитриевых-Мамоновых другая ветвь Дмитриевых сохранила свою фамилию без изменений. Её прославил Иван Иванович Дмитриев (1760 — 1837), знаменитый поэт и известный государственный деятель. Рано начав военную службу, Иван Иванович вступил на литературное поприще уже в зрелом возрасте. Ему покровительствовал сам Г. Р. Державин, а близким другом был Н. М. Карамзин (оба литератора являлись родственниками — отец Карамзина вторым браком был женат на родной тётке Дмитриева). Первый стихотворный сборник Ивана Ивановича, изданный в 1795 году, назывался «И мои безделки» (по аналогии с карамзинскими «Моими безделками»). Среди «безделок» было немало превосходных стихотворений. Кстати, именно в этом сборнике в печати впервые появилась буква «ё» (в слове «всё»). Иван Иванович прославился прежде всего как довольно острый сатирик и талантливый баснописец. Современники сравнивали его с Лафонтеном и Крыловым, а князь П. А. Вяземский даже предпочитал Дмитриева Ивану Андреевичу. Сюжеты своих басен Дмитриев черпал в основном из французской литературы. Считая басню основным жанром своего творчества, он видел задачу в воспитании личности молодого человека, а потому всегда усиливал морализаторское начало. Одновременно Дмитриев достиг совершенства в новом, светски-изящном литературном стиле, и его басни, написанные лёгким и грациозным стихом, долго пользовались заслуженной славой. Одной из самых известных была басня «Муха»:
Бык с плугом на покой тащился по трудах;
А муха у него сидела на рогах,
И муху же они дорогой повстречали.
«Откуда ты, сестра?» — от этой был вопрос.
А та, поднявши нос,
В ответ ей говорит: «Откуда? — мы пахали!»
От басни завсегда
Нечаянно дойдёшь до были.
Случалось ли подчас вам слышать, господа:
«Мы сбили! Мы решили!».
Кроме того, Дмитриев — автор од, сказок, песен, а песня «Стонет сизый голубочик» стала, по сути, народной.
При Александре I Дмитриев включился в государственную деятельность, стал членом Государственного Совета, министром юстиции (1810 — 1814). При этом он никогда не забывал своих собратьев по перу и всегда помогал им как мог. Скончался он в весьма преклонном возрасте, окружённый почётом и уважением, через несколько месяцев после гибели А. С. Пушкина.
Брат Ивана Ивановича — Александр — профессиональный военный, также был переводчиком и прозаиком, хотя и менее известным. И наконец, сын последнего, Михаил Александрович (1796 — 1866), тоже оставил поэтические опыты, а также интересные мемуары «Мелочи из запаса моей памяти», не так давно переизданные. Потомство Михаила Александровича пресеклось.