Окончив Военно-инженерное училище в 1828 г. и уже в следующем году отличившись в сражении против турок, Петр Александрович продолжал оставаться в 7-м пионерном батальоне без какой-либо служебной перспективы. В 1834 г. его участью занялся старший брат, прибывший в Петербург и назначенный архимандритом в Сергиеву пустынь. Святитель Игнатий еще в годы учебы сошелся с родственным семейством Муравьевых, и теперь помог брату определиться адъютантом к генерал-адъютанту Николаю Николаевичу Муравьеву. Н. Н. Муравьев отличался прямолинейным характером и неподкупной честностью. Далеко не всякому удавалось войти к нему в доверие, тем более установить с ним дружеские отношения. Но качества, привитые Петру Александровичу суровым семейным воспитанием, безусловная честность, приверженность к вере привлекли его к молодому поручику. С другой стороны, характеру Петра Александровича присущ был некоторый сентиментализм, а то, что он не чувствовал никакого участия со стороны отца, да и других родственников, и ощущал полное одиночество, необыкновенно притягивало его к Николаю Николаевичу. Их совместная служба продолжалась менее трех лет, а отношения сохранились на всю жизнь. Это несмотря на то, что личные их встречи были очень редки и их общение развивалось только посредством переписки. За период с 1837 по 1866 г. сохранилось более 150 (!) писем П. А. Брянчанинова к Н. Н. Муравьеву-Карскому.
Служба П. А. Брянчанинова адъютантом Н. Н. Муравьева прервалась из-за вынужденной отставки последнего. Из писем видно, что Петр Александрович, оставшись не у дел, оказался в тяжелом материальном положении. Николай Николаевич выручил его, рекомендовав в адъютанты к генералу Данненбергу. Спустя некоторое время он был повышен в чине и получил в командование батальон в 5-м корпусе Кавказской армии. Письма его, подробнейшие на пяти, шести и более листах, описывают смотры, перестановки командиров, передвижения частей войск и т. п. Также он рассказывает о своих неудачах и разочарованиях: «Отчужденный от семейства, бродя постоянно между людьми чужими, с каждым днем более и более удостоверяюсь в трудности найти людей прямых, искренних и соответствующих мне по духу…» Из писем можно сделать вывод, что П. А. Брянчанинов не имел определенной жизненной цели, на военную службу попал не по призванию, ему не повезло участвовать ни в одном значительном сражении, и он оставался добросовестным службистом, хотя служебную лямку тянул без всякого интереса и энтузиазма, лишь ради средств к существованию. Он часто болел, потому вынужден был часто брать отпуск и рано начал задумываться об отставке.
Следует отметить, что во все время военной службы Петра Александровича его имя почти не встречается в переписке святителя Игнатия с сестрами и другими близкими людьми; и между ними самими, по-видимому, переписка носила лишь случайный характер: во всяком случае, за период до 1852 г. не сохранилось ни одного письма Святителя к этому его брату. Также, и сам Петр Александрович в своих письмах к Н. Н. Муравьеву за десять лет, минувших после 1837 г., ни разу не упоминает брата архимандрита. Даже о самых интимных личных переживаниях он предпочитает сообщать Николаю Николаевичу, а не родственникам, как это было с его женитьбой и трагическим окончанием брачной жизни. Потому что именно от Николая Николаевича он ожидал сочувствия и добрых советов, а не осуждения за столь скоропалительный брак. История эта, подробно описанная им в письмах с января 1841 по август 1846 г., вынуждала его дважды увольняться со службы и возвращаться на нее опять с помощью Н. Н. Муравьева.
После смерти жены он начал задумываться об уходе в монастырь, о чем написал брату. В письме от 20 июня 1852 г. архимандрит Игнатий отвечал ему: «Что сказать Тебе в ответ на Твои мысли об удалении от мира? Господь, благословивший и установивший такое удаление, вместе с тем заповедал сперва сосчитать имение свое — достаточно ли оно для созидания этой высокой жизни, — и количество сил своих для борьбы с силами противными. Советую Тебе сводить этот счет молитвою, отдаваясь на волю Божию. <…> В настоящее время ты необходим для Алеши, на которого, в случае твоего удаления, с полным правом накинется его дед и сделает его несчастным по душе и по телу». С этого момента началось новое сближение братьев — архимандрита Игнатия и Петра Александровича Брянчаниновых.