Артамон Сергеевич жил в Москве, в небольшом домике, расположенном между улицами Покровка и Мясницкая. Для сана ближнего боярина, наместника, главы наиважнейших приказов и Монетного двора это было более чем скромное жильё, да к тому же и тесное, потому что семья Артамона Матвеевича была весьма многолюдной. Царь Алексий Михаилович много раз предлагал своему любимцу построить большие палаты, но Матвеев не хотел быть в долгу и решил самостоятельно, не за казённый счёт, построить себе дом Он стал заготовлять строительные материалы, но тут выяснилось, что в Москве нет камня для фундамента: его уже давно перестали завозить. Слух о том, что любимый всеми боярин Матвеев не может построить себе дом за неимением камня для фундамента, быстро распространился по Москве, и тогда, посовещавшись, московские стрельцы и посадские люди решили подарить ему необходимый камень. Артамон Сергеевич предлагал деньги за товар, но стрельцы и посадские денег не брали, уверяя, что они не могут продать этот камень, а могут только подарить. Боярин обратился за советом к царю, и Алексий Михаилович, приятно удивлённый таким поворотом дела, посоветовал ему не обижать народ и взять подарок. А камень этот действительно нельзя было продавать, потому что это были каменные плиты, собранные со старых могил родственников дарителей.
После смерти Алексия Михаиловича в 1676 году Матвеев стал, советником и защитником царицы Натальи Кирилловны и её сына — царевича Петра Это было необходимо, потому что Милославские не хотели сдавать своих царских позиций и начали усиленную борьбу с Натальей Кирилловной и со всеми Нарышкиными, борьбу, которая роковым образом сказалась на Артамоне Сергеевиче Матвееве. Чтобы лишить царицу поддержки в лице умного боярина Матвеева, Милославские, организовав несколько доносов на Артамона Сергеевича, в которых его обвиняли в подозрительной дружбе с иностранцами, в прозападнических настроениях, якобы наносящих большой вред государству, сначала добились его ареста, а затем ссылки в карельский Пустозёрск, гда он провёл долгие годы.
Эти обвинения не могли быть причиной заточения, а затем ссылки ближнего боярина, потому что внешняя политика царя Феодора Алексиевича, женатого на польской пани Грушецкой, была направлена на сближение с западными странами и в царских палатах звучала польская речь, а царь и его придворные были одеты уже не по русской моде, а в польские кунтуши. Талант царевны Софьи, её любовник-фаворит, боярин Василий Васильевич Голицын, открыто проводил прозападную политику царя и тоже принимал в своём доме иностранных гостей. Да, Артамон Сергеевич ценил общение с иностранцами, он охотно воспринимал европейские новинки, его палаты были убраны на европейский лад, с разрисованным потолком, украшены картинами немецких мастеров, изображавшими святых, зеркалами, часами настолько затейливой конструкции, что даже приезжавшие к Матвееву иностранцы дивились им как чуду техники. Убранство дома Матвеева было диковинкой для русского быта. Однако и в доме боярина Василия Васильевича Голицына украшением служили такие же предметы, что и у Матвеева, да еще у него была и огромная карта России, не менее диковинный предмет, чем часы в матвеевском доме. В доме Артамона Матвеева давались театральные представления силами его крепостных и холопов, на которых ранее присутствовал царь Алексий Михаилович, но и при дворе царя Феодора Алексиевича был театр, где разыгрывались пиесы, написанные царевной Софьей.
Усилиями крестницы Матвеева — Марфы Матвеевны Апраксиной, ставшей второй супругой царя Феодора Алексиевича, — удалось в январе 1682 года перевести Матвеева в Лух, где условия пребывания были значительно легче, а затем в мае этого же года вернуть Артамона Сергеевича из ссылки. Но буквально через три дня после его возвращения, 15 мая 1682 года, разразился Стрелецкий бунт, спровоцированный Милославскими. Стрельцы ворвались в Кремль с криками, что Иван Нарышкин задушил царевича Ивана Несмотря на то, что Наталья Кирилловна в сопровождении Артамона Матвеева и других бояр вывела царевичей Ивана и Петра на крыльцо кремлёвского дворца и царевич Иван сказал, что никто его не обижает, разъярённые, да к тому же пьяные, стрельцы, поднявшись на крыльцо, сбросили вниз на стрелецкие копья Артамона Матвеева, пытавшегося защитить царицу и царевичей, и на глазах цариц Натальи Кирилловны и Марфы Матвеевны и малолетних царевичей Ивана и Петра саблями изрубили его в куски.
Так погиб один из лучших сынов Отечества — боярин Артамон Сергеевич Матвеев. Он оставил для служения родине своего сына Андрея Артамоновича Матвеева, внучку Марию Андреевну Румянцеву и правнука — генерал-фельдмаршала графа Петра Александровича Румянцева-Задунайского, верой и правдой послуживших Отечеству.