По свидетельству современников и судя по его портрету, Мамонов не отличался большой красотой: у него было немного скуластое лицо, прямые брови над небольшими глазами, он был не очень высокого роста, но хорошо сложён и физически развит. В письме к Гримму Екатерина II описывает внешность своего фаворита, как мать говорит о своём ребёнке: «Наша внешность вполне соответствует нашим внутренним качествам: у нас чудные черные глаза с бровями, очерченными на редкость; ростом ниже среднего, вид благородный, походка свободная; одним словом, мы так же надежны в душе, как ловки, сильны и блестящи с внешней стороны». Александр Матвеевич был человеком образованным, и его чуть раскосые глаза светились умом и живостью. Он хорошо говорил на немецком и английском языках, а французский язык вообще знал превосходно. Екатерине нравилось, что он постоянно стремился познавать, много читал, писал недурные стихи и даже пробовал себя в драматургии. Последнее ей особенно нравилось: ведь она и сама писала и публиковала сатирические статьи в журналах, редактировала журнал «Всякая всячина» и сочиняла пьесы, которые ставились в придворном театре. Императрица любила вести с ним беседы. А так как он пытался серьёзно вникать в государственные дела, она стала использовать его и как советчика.
Александр Матвеевич Дмитриев-Мамонов (1758–1803) происходил из дворянского рода, ведущего своё начало от князя Константина Ростиславича Смоленского. Фамилию его род получил от Григория Андреевича Мамона Дмитриева, окольничего, жившего в конце XV — начале XVI века (ум. 1510). Дмитриевы служили при Государевом дворе окольничими, стольниками, полковыми воеводами. В 1689 году Пётр I официально разрешил одной из ветвей Дмитриевых, в отличие от других ветвей рода, именоваться Дмитриевыми-Мамоновыми. Дмитриевы-Мамоновы в начале XVIII века породнились с царским родом Романовых. По желанию Петра I его племянница, царевна Прасковья Ивановна (1694–1731), дочь Иоанна V Алексиевича от Прасковьи Фёдоровны Салтыковой, не отличавшаяся ни красотой, ни способностями, была выдана замуж за генерал-аншефа Ивана Ильича Дмитриева-Мамонова (1680–1730). Это был первый в Российской империи морганатический брак.
Морганатический супруг царевны Прасковьи, Иван Ильич Дмитриев-Мамонов, командовал гвардией в Персидском походе Петра I, а с 1726 года, при Петре II, стал сенатором Когда на престол была избрана Анна Иоанновна (1730), родная сестра царевны Прасковьи Ивановны, то Иван Ильич, как супруг царевны, стал играть при российском дворе видную роль, но недолго: в том же году он умер.
Дед фаворита Мамонова, Василий Афанасьевич Дмитриев-Мамонов, дослужился до чина контрадмирала. В 1709 году он был послан Петром I в Данию для обучения морскому делу. Он вернулся в Россию в 1716 году, был обласкан царём и послан в Воронеж для участия в строительстве флота Через 11 лет он стал советником Адмиралтейств-коллегии, в 1729 году — директором Московской адмиралтейской конторы, а в 1732 году, в царствование Анны Иоанновны, стал контр-адмиралом, членом Воинской морской комиссии и начальником Кронштадтского порта В 1739 году он скончался.
Отец фаворита Екатерины II, Матвей Васильевич Дмитриев-Мамонов (1724–1810), служил вице-президентом Вотчинной коллегии, затем был назначен правителем Смоленского наместничества В 1786 году, по протекции своего сына-фаворита, стал президентом Вотчинной коллегии, получил чин тайного советника, был назначен сенатором, стал главным директором весьма хлебного места — Межевой канцелярии, землемеров и архивов. Ему суждено было пережить своего сына на семь лет.
В 1786 году, став фаворитом, Александр Матвеевич Дмитриев-Мамонов уже через месяц своего фавора получил военный чин генерал-майора и придворное звание действительного камергера Екатерина II первоначально всем своим фаворитам-любовникам раздавала милости одинаково, так сказать, «всем сестрам по серьгам». Но тот, кто удерживался больше года, получал уже блага посерьёзнее. В 1788 году императрица пожаловала Дмитриева-Мамонова в генерал-поручики и из флигель-адъютантов перевела в генерал-адъютанты. А в апреле того же года по её просьбе император Иосиф II возвёл фаворита Екатерины с нисходящим потомством в графское Священной Римской империи достоинство. Впоследствии император Павел I в 1797 году повелел род Дмитриевых-Мамоновых внести в число графских родов Российской империи.