Предки Иосифа были выходцами из Литвы, носили фамилию Саня. Отец Иосифа был владельцем села и нескольких деревень около Волока Ламского. Характерна родословная Иосифа, которую нам дают его близкие сподвижники и родственники, монахи Савва Черный и Досифей Топорков. Уже дети главы рода Иосифова, переселенца из русских пределов Литвы, по прозвищу Саня, здесь, в будущей Великороссии, кончают жизнь в черных ризах. Сын Сани, Григорий, стал иноком Герасимом, а жена его монахиней Ириной. Это были дед и бабка Иосифа. До пострижения они родили сына Ивана — отца будущего Иосифа, так что Иосиф смолоду по мирскому имени был Иваном Ивановичем (т. е. символически типичным великороссом). Но и родители его — Иван и Марина, потрясенные иночеством сына, сами кончили жизнь в черных ризах.