В войне, которая началась позднее между Литвой с одной стороны и Смоленском с Рязанью с другой, попытка Витовта завладеть Смоленском не увенчалась успехом. Теперь Олег подумывал о том, чтобы забрать у Литвы некоторые захваченные земли, и послал своего сына Родослава завоевывать Брянское княжество, но Витовт отправил войско под командованием Семена Ольгердовича – своего опытного двоюродного брата, и Родослава ждал ошеломляющий разгром. Взятый в плен и посаженный в темницу, он находился в ней до тех пор, пока не был выкуплен три года спустя. Такой поворот событий подкосил Олега, который в то время был уже стариком. Положение Юрия сразу же изменилось. И хотя Витовт осадил Смоленск, не сумел взять его и был вынужден отступить, он был полон решимости покорить этот город. Со временем многие бояре, негодуя на жестокость Юрия, стали доброжелательно относиться к Витовту.
Теперь Юрию неоткуда было ждать помощи, и город разделился. Юрий поехал в Москву и попросил князя Василия защитить его, пообещав подчиниться Москве. Василий не отказал ему в просьбе, но и не дал немедленного обещания, так как не хотел поднимать оружие против Витовта. А тем временем в отсутствие Юрия Витовт появился у Смоленска, и летом 1404 г. бояре сдали ему город. Витовт тоже был очень жестоким, он убил и изгнал из города всех своих влиятельных противников, но, как искусный политик, привлек к себе много людей путем раздачи привилегий и отвратил их от Юрия, который теперь поехал в Новгород, где ему оказали радушный прием и дали в управление несколько городов.
Было ясно, что Витовт восстановил силы после разгрома на Ворскле и нацеливался на захват Пскова и Новгорода. В 1405 г. он напал на Псков, захватил Колодье, перебил много людей и взял много пленных. Новгород, как обычно, либо опоздал со своей помощью, либо отказался помогать. Тогда псковичи обратились к Москве, и Василий, поняв наконец огромную опасность, исходившую от Витовта, разорвал мирный договор со своим тестем и послал войско воевать с Литвой. В течение трех лет – 1406, 1407 и 1408 гг. – война между этими двумя князьями возобновлялась каждый год. Три раза Василий и Витовт выступали друг против друга с большими войсками, но каждый раз останавливались перед решающим сражением и отступали после заключения перемирия. Очевидно, что эти остановки перед сражением были вызваны отчасти их взаимоотношениями и отчасти осторожностью каждого из двух противоборствующих князей.
Их последняя встреча состоялась в сентябре 1408 г. на реке Угре, которая служила границей между ними. Простояв несколько дней друг напротив друга на разных берегах реки, они заключили мирный договор, по которому границы их земель остались такими, какими они были на тот момент. Позднее Витовт не предпринимал никаких серьезных действий против Пскова и даже Новгорода. Благодаря этой войне Москва не пустила Витовта в Восточную и Северную Русь. Эта война имела и другие последствия. Многие видные литовцы и русские по той или иной причине были недовольны Витовтом, уехали из Литвы и перешли на сторону Москвы. Особенно много было людей из земель вблизи южных районов Черниговского княжества. Среди них в 1408 г. оказался брат короля Польши – князь Свидригайло Ольгердович. Заявляя свои права на Литву, он не желал подчиняться Витовту. Василий был готов радушно принять изгнанника и дал Свидригайле несколько небольших городов во владение. Такая щедрость к чужаку не понравилась русским боярам, и позднее они возмущались, когда вместо того, чтобы защищать Москву от Едигея, Свидригайло подло бежал вместе со своими многочисленными приближенными, совершая по дороге грабежи.
Необычна была судьба Юрия – последнего князя Смоленска. Он не остался надолго в Новгороде, и, когда в отношениях между Василием и Витовтом наступил переломный момент, он во второй раз появился в Москве вместе с князем Семеном Вяземским. Василий дал Юрию во владение Торжок. Теперь необузданный нрав этого человека довел его до гнусного преступления. В нем вспыхнула страсть к жене князя Семена. Столкнувшись с сильным сопротивлением с ее стороны, он попытался применить насилие, а когда она начала защищаться острым оружием, он убил ее. В тот же день он убил и ее мужа. Какими бы жестокими ни были те времена или какую бы свободу действий ни позволяли себе князья, такое пренебрежение человеческими и христианскими законами вызвало у всех негодование и ярость. То ли Юрий был изгнан Василием, то ли сам поспешил убраться из Торжка, но он бежал в Орду; однако, не найдя для себя убежища ни там, ни в каком-либо другом месте, он несколько месяцев скитался, больной и павший духом, пока наконец не нашел приют у настоятеля по имени Петр, в монастыре которого его жизнь вскоре и закончилась.