В 1446 г. Шемяка занял Москву и великокняжеский стол, приказав схватить великого князя в Троицком монастыре. Верный договору с великим князем, Василий Ярославич не хотел служить Шемяке и вместе с князем Семеном Ивановичем Оболенским ушел в Литву. Впрочем, у Василия Ярославича могла быть давняя неприязнь к галицкому князю еще за то время, когда был жив отец Шемяки. По крайней мере, в договоре Юрия Димитриевича (1433 г.) с великим князем читаем: «А что князь Василий Ярославич имал мою [Юриеву] вотчину, или люди его грабили мою вотчину, а на то суд и неправа». Как бы то ни было, но Василий Ярославич ушел в Литву; король дал ему Брянск, Гомей (Гомель), Стародуб, Мстиславль и другие места. Брянск Василий отдал Оболенскому и Федору Басенку, также не хотевшим служить Шемяке, а сам сел в Мстиславле, куда вскоре прибыли князья Ряполовские, князь Иван Стрига и многие боярские дети. Здесь шли совещания о способах освобождения великого князя[833]. Еще не зная, что великий князь уже на свободе (1447 г.), временные беглецы положили идти на его освобождение и сборным пунктом назначили Пацин. Вскоре, впрочем, еще в Мстиславле, они получили известие об освобождении великого князя. В Пацине, куда князья собрались с боярами и людьми, получено было новое известие — о движении великого князя к Твери. Это было уже зимой 1447 г. Князья двинулись к Ельне, где соединились с отрядом татар, шедших также на освобождение великого князя, с которым они и соединились потом под Угличем и взяли этот город[834]. Шемяка и бывший на его стороне князь Иван Можайский, потеряв Москву и видя, что борьба им не под силу, пожелали примириться с великим князем и обратились к посредничеству Михаила Андреевича Верейского и Василия Ярославича в 1448 г. (О договорной записи говорилось в биографии Шемяки.) Великий князь в благодарность за труды Василия Ярославича договорной грамотой утвердил за ним Боровск, Серпухов, Лужу, Хотунь, Радонеж, Перемышль и дал ему в удел Дмитров[835].
Года три спустя (в 1452 г.) Шемяка опять поднялся на великого князя и пошел к Устюгу. После Рождества Василий Васильевич сам выступил против него; из Ярославля он послал сына Ивана на Кокшенгу, а перед тем отправил к Устюгу со своими боярами Василия Ярославича[836].
После этого похода до 1456 г. мы не встречаем в летописях известий о Василии Ярославиче; в упомянутом же году, в июле, Василий Ярославич был схвачен в Москве по приказу великого князя и заточен в Углич, а жена его (вторая) успела бежать с пасынком Иваном в Литву[837]. Летописи не объясняют вины Василия Ярославича, и только Степенная книга неопределенно говорит: «за некую крамолу». Возможно, как объясняют некоторые, Василий Васильевич, когда ему уже не угрожали опасности от претендентов на великокняжеский стол, начал тяготиться тем, что чувствовал себя обязанным своему шурину, не отступавшему от него во время постигавших его невзгод, и хотел отделаться от этой нравственной тяготы, а может быть, и просто по наветам, как можно сделать вывод из договора, заключенного в Литве сыном Василия Ярославича Иваном с князем Можайским Иваном Андреевичем (см. ниже курсив).
Зимой 1462 г. боярские дети Василия Ярославича сговорились высвободить своего князя из неволи: они целовали друг к другу крест на том, чтобы внезапно напасть на Углич, освободить Василия Ярославича и бежать с ним. Замысел открылся, и заговорщики были преданы жестоким казням: привязав к конским хвостам, их волочили по льду, били кнутом, рубили им руки и ноги, резали носы, отсекали головы. После этого Василий Ярославич был переведен в Вологду[838].