По обыкновению летописи давали подробные сведения о размерах экстренных сборов в пользу «царя», их взыскании с населения и пр. Правитель позаботился о том, чтобы сведения такого рода вовсе не попали в отчет о его посольстве. Василий II, заявил боярин хану, не один год сидит на своем престоле, «а на твоем жалованье, тебе, своему государю, волному царю правяся». Этими словами исчерпывались все указания на «службу» Москвы Орде, даннические отношения и пр. Между тем вопрос о дани занимал центральное место в переговорах. Хан недаром поместил Василия II в дом московского даруги — сборщика дани. О размерах дани свидетельствовали слова князя Юрия, включенные в княжеский договор 1433 г. Великий князь, признавался удельный князь, «платил в Орде за мою отчину за Звенигород и за Галич два выхода и с распанами». Как видно, татары получили двойную дань с надбавками как с удела, так и с великого княжества. Орда требовала наличных денег, и Всеволожскому пришлось занять деньги под огромные проценты.
Улу — Мухаммед не желал жертвовать князем Юрием, так как московские распри позволили ему без каких бы то ни было усилий и пролития крови возродить свою власть над Русью. Ордынский посол привез ярлык не одному Василию II, но и Юрию, получившему выморочное княжество Дмитровское, удел брата Петра. Но Василий II не посчитался с волей хана, изгнал наместника Юрия из Дмитрова и присоединил город к своей московской вотчине.
Миссия в Орду фактически положила конец карьере ИД. Всеволожского как правителя. Он стал слишком непопулярной фигурой в столице и при дворе. Имеются сведения, что правитель намеревался сосватать свою дочь Василию II. Но брак в великокняжеской семье стал предметом соперничества в придворных кругах. Василию II сосватали его родственницу — внучку Владимира Андреевича Храброго. Заключению брака способствовали бояре Кошкины. Невеста великого князя была родной племянницей боярина И. Ф. Кошкина, известного противника Орды.
Борьба за власть внесла раскол в московскую думу, что имело самые серьезные последствия. Стремясь сохранить пост правителя, Всеволожский пытался найти опору в уделе князя Юрия. Задумав породниться с семьей удельного князя, он объявил о помолвке своей дочери со старшим сыном Юрия Василием Косым. Затея правителя была рискованным шагом. Князь Юрий готовился к войне с племянником из–за Дмитрова. Противники Всеволожского в думе использовали этот промах, чтобы покончить с его влиянием при дворе. Юрий не попал на свадьбу Василия II. Но его сыновья пировали за свадебным столом. Свадебное пиршество было омрачено родственной ссорой. Сын казначея И. Ф. Кошкина (по другой версии — П. К. Добрынский) донес вдовствующей матери Софье, что Василий Косой явился на свадьбу в золотом поясе, «на чепех с камением». Пояс якобы был украден из великокняжеской казны, перешел в руки И. Д. Всеволожского, а от него с приданым Косому. Донос Кошкина заключал в себе много неувязок, но властная Софья не постеснялась бросить оскорбление в лицо гостю, после чего сорвала пояс со свояка. Василий с братом Дмитрием Шемякой, «раззлобившися», покинули Москву и укрылись в княжестве отца в Галиче. ИД. Всеволожский, запятнанный подозрением, не захотел оставаться на службе у великого князя. Предполагал ли бывший правитель начать борьбу с государем, неизвестно. Во всяком случае, он уехал из столицы не в Галич, а в удел Константина, лояльного по отношению к Василию II. Существенное значение имело еще одно обстоятельство. В случае отъезда к Юрию бывший правитель, в соответствии с докончанием, разом бы лишился своих обширных вотчин.
Константин боялся навлечь на себя гнев великого князя и не принял Всеволожского. Боярин бежал в Тверь, рассчитывая на помощь дочери — великой княгини тверской. Однако зять Всеволожского умер от оспы, а брат умершего отказал боярину в убежище. Тогда правитель, оказавшись в безвыходном положении, уехал к Юрию в Галич.
Получив от Всеволожского исчерпывающую информацию о положении дел в Москве, удельный князь решил захватить столицу внезапным набегом. Узнав о появлении Юрия под Москвой, Василий II собрал всех, кто оказался под рукой. Битва произошла на Клязьме в 20 верстах от столицы и закончилась разгромом великокняжеского войска. В 1433 г. Юрий вступил в столицу и занял великокняжеский престол. Новый государь стремился показать всем, что будет управлять страной, следуя традиции и закону. Отец Василия II получил от Дмитрия Донского в удел Коломну. Победив Василия II, Юрий свел его из Москвы в Коломенский удел.
Современники склонны были объяснять поражение Василия II случайными причинами, вроде пьянства москвичей на Клязьме, внезапностью нападения удельных войск и пр. Однако цепь неудач объяснить такими причинами невозможно.