В истории масонства оставил след и сын Гавриила Петровича — князь Павел Гаврилович (1777 — 1850). В молодости он служил адъютантом у Суворова, отзывавшегося о нём с похвалой, прошёл военными дорогами Итальянского похода, в 1799 году был произведён в генерал-адъютанты. В феврале 1800 года Павел Гаврилович женился на фаворитке Павла I Анне Петровне Лопухиной (1777 — 1805), чем упрочил своё положение. При Александре I князь выполнял ряд дипломатических поручений, в начале 1810-х годов являлся директором Инспекторского департамента Военного министерства, а в декабре 1814 года вышел в отставку в чине генерал-майора. В Петербурге Гагарин состоял почётным членом многих масонских лож, активно участвуя в деятельности таких из них, как «Астрея» и «Орёл Российский». В молодости опубликовал несколько поэтических сочинений, а в 1811 году издал сборник «Эротические стихотворения». Современники удивлялись странному образу жизни князя в петербургский период: его дом населяло множество птиц и собак. В то же время он собрал обширную и богатую библиотеку. В 1831 году Павел Гаврилович женился на балерине М. И. Спиридоновой.
Среди Гагариных подобный брак был не единственным. Князь Иван Алексеевич Гагарин (1771 — 1832), обер-шталмейстер, сенатор, масон и коллекционер произведений искусства, долгое время состоял в любовной связи с великой трагической актрисой Екатериной Семёновой (1786 — 1849). Они узаконили свои отношения только в 1827 году. Дети князя Гагарина и Семёновой носили фамилию Стародубских (в память о происхождении этого княжеского рода). Законные потомки Ивана Алексеевича (шесть сыновей) родились от его первого брака с Елизаветой Ивановной Балабиной.
Из них нужно упомянуть о генерал-лейтенанте князе Александре Ивановиче (1801 — 1857). Долгое время он служил на Кавказе: воевал с горцами, сражался против турок в Крымскую войну (проявил себя при штурме Карса), был градоначальником Дербента и военным губернатором Кутаиса. Немало содействовал развитию в Грузии садоводства и виноградарства. В 1857 году князя назначили кутаисским генерал-губернатором. На этом посту он начал вводить российские административные порядки на грузинских территориях, вошедших в состав Российской Империи на правах автономии. Сложности возникли в княжестве Сванетия, где правила семья князей Дадешкелиани, две линии которой вели между собой кровавую борьбу. Стремясь водворить порядок, князь Гагарин вызвал владетеля Сванетии князя Константина Дадешкелиани в Кутаис и объявил ему об аресте. В ответ Константин убил одного из солдат и смертельно ранил самого Гагарина, который пять дней спустя скончался. За это преступление Дадешкелиани был после военного суда (он числился на русской службе в лейб-гвардии Казачьем полку) расстрелян, а княжество Сванетия окончательно упразднено.
Печально завершилась жизнь и другого князя Гагарина, представителя четвёртой ветви этого рода. Правда, в отличие от Александра Ивановича, честно служившего России, Матвей Петрович сам своими действиями подписал себе смертный приговор. Начальник Сибирского приказа, при образовании губерний в 1708 году он стал сибирским губернатором. На этом посту князь составил себе крупное состояние, укрывая доходы от торговли с Китаем. Подобными махинациями он занимался, ещё когда в конце XVII века был воеводой в Нерчинске. Но тогда дело замяли, теперь же, в 1717 году, началось следствие. Матвея Петровича обвиняли в казнокрадстве и превышении власти. В начале 1719 года его арестовали и привезли в Петербург. Имения Гагарина были конфискованы, а сам он подвергся пыткам и по приговору Сената в марте 1721 года был повешен перед окнами Юстиц-коллегии. Нити следствия вели к А. Д. Меншикову, известному своими непомерными аппетитами, но светлейшего, «покрываемого» князем, как всегда, не тронули. Казнь Гагарина свершилась в присутствии царя и родственников осуждённого. Тело оставалось на виселице в течение нескольких месяцев. Но, конечно, такой позорный случай в роду князей Гагариных — исключение, большинство из них с достоинством несли свой высокий титул.
Дочь сибирского губернатора Матвея Петровича была женой графа Ивана Гавриловича Головкина (ум. в 1734), старшего сына петровского сподвижника, канцлера графа Гавриила Ивановича Головкина. А сын Алексей, которого после казни отца записали в матросы, в своё время женился на баронессе Анне Петровне Шафировой, старшей дочери другого «птенца гнезда Петрова» вице-канцлера барона Петра Павловича Шафирова (1669 — 1739).