Мать стала инокиней Марией в женской обители св. Власия в Волоколамске. И все сыновья их, вслед за Иваном-Иосифом, ушли в монашество. Получилась как бы семья древнерусских богатырей во иночестве. Брат Иосифа Акакий, ставший с юности монахом в том же монастыре Пафнутия Боровского, сделался затем епископом Тверским (1525-1546 гг.), в этом звании покровителем и ценителем знаменитого Максима Грека. Брат Вассиан был (в 1506-1515 гг.) энергичным архиепископом Ростовским и Ярославским. Брат Елеазар умер монахом. Можно предполагать, по синодику Иосифова монастыря, что монашеское имя Евфимия обозначает именно его — Елеазара. По вероятному предположению И. Хрущова (стр. 26), Елеазар и был отцом Досифея и Вассиана, приобретших фамилию Топорковых. B надписании надгробного слова преподобному Иосифу Досифей и Вассиан названы братаничами (= племянниками) Иосифа. Вассиан потом стал епископом Коломенским. И Досифей и Вассиан оба были иконописцами, помощниками знаменитого иконографа Дионисия, ученика Андрея Рублева. Все это — творческая аристократия духа северно-русского племени, облекшаяся в черные ризы. Подводя итог, Хрущов насчитывает в известном нам круге родни Иосифа 14 имен мужских — иноческих и только одно — мирское. Из всех четырех имен женских — все монашеские. Сам Иосиф с детских лет, как принято было в этой среде, открыто повлекся к монашеству. По близости в Боровске был уже притягательный лик основавшего там монастырь Пафнутия. Сам Пафнутий был татарского рода из семьи баскаков, т. е. сборщиков татарской дани. Дед Пафнутия крестился, родители Пафнутия были уже оседлыми вотчинниками сельца Кудинова около Боровска. Такое почти отожествление быта мелких землевладельцев и строителей монастырей было типичным и широко распространенным бытовым явлением всего великорусского севера. Пафнутий строил монастырь хозяйственно и общежительно. Окружные княжеские семьи, и сам недалекий Московский князь Иван III, идя вслед за народной молвой, приезжали нередко к Пафнутию и говеть и причащаться. Окружные местные князья не прочь были взять монастырь под свой патронат. Никто другой, как родной брат Ивана III Московского, князь Борис Васильевич Волоцкий хотел взять обитель Пафнутия в свое ведение. Но Пафнутий сам бил челом великому князю Ивану III, чтобы тот взял его монастырь под свою державу. И Иван III это сделал. Семейное предание московских царей и при Грозном считало Пафнутия Боровского патроном царской семьи. Родившийся в 1439-40 году в соседнем семействе Саней мальчик Иоанн, в монашестве Иосиф, отдан был учиться монаху Арсению, быстро преуспел в грамоте и стал усердным чтецом церкви. Он начал с этих лет бояться житейских удовольствий, дружа лишь с соседом, «вельможным отроком», князем Борисом Кутузовым, который впоследствии сам постригся в монашество с именем Авраамия, когда Иосиф уже создал свой монастырь. С позволения родителей, юноша Иосиф пошел знакомиться в окрестные монастыри с намерением включиться в их жизнь. Строгий идеалист пережил острые разочарования. Услышав о старце Варсонофии в Тверской земле, юноша Иоанн пришел туда и был поражен грубыми препирательствами и мужицкими ругательствами в трапезе монастырской. Старец Варсонофий понял строй души юного искателя и прямо сказал ему: не тебе жить в здешних монастырях, направляйся в Боровск к старцу Пафнутию. Там впечатления были другие. Старика Пафнутия юный искатель подвига застал за рубкой дров и складом их в поленницы. Когда работа кончилась, двадцатилетний Иоанн в восторге умиления и в слезах бросился к Пафнутию, прося его постричь, что мудрый Пафнутий немедля и сделал. Как ни чтили родители Иоанна, ныне Иосифа, благочестивую настроенность своего сына, но были все-таки потрясены его уходом из мира. Отца даже разбил паралич; тот лишился движения рук и ног. Пафнутий и братия горячо посочувствовали этой семейной и вместе духовной драме. Они послали матери коллективное утешительное письмо. А параличного отца дозволили взять в келью Иосифа, где сын-монах еще целых 15 лет ухаживал за своим параличным отцом. Так мудро сочетали они монашество с подвигом человеколюбия и естественной любви. Сильный и работоспособный Иосиф, пройдя период физических работ в монастыре в поварне, в пекарне, на трапезе, на кормлении странных и голодающих, не мог не быть замечен и приближен к послушанию, наиболее ему подходящему. При своей благолепной наружности, при своем внушительном взгляде, Иосиф обладал звучным голосом для чтения и пения в церкви. Сверх этого он обладал обширной начитанностью и удивительной памятью, держа святые писания «памятью на краи языка». Биографы — очевидцы повествуют: «Бе же у Иосифа в языце чистота, и в очех быстрость, и в гласе сладость, и в чтении умиление, достойно удивлению великому: никто же бо в та времена нигде таков явися». Другой пишет: «в церковных песнословиях и чтении толик бе, якоже ластовица и славий доброгласный услажаше слухи послушающих, якоже ин никтоже нигдеже». Неудивительно, что Москва, т. е. великокняжий двор, проведала об Иосифе. Он был поставлен в иерейское звание и по воле великого князя назначен преемником скончавшегося Пафнутия, приняв игуменское поставление от рук самого митрополита Геронтия