Борьба за Смоленск началась в 1510-х годах. В 1506 году король Александр скончался, правителем Литвы и Польши стал его брат Сигизмунд I. Василий III пытался повлиять на литовские дела сначала через вдову Александра — свою сестру Елену, а затем через знатного вельможу князя Михаила Глинского. Князья Глинские были старинным родом, предком которых был знаменитый темник Мамай. После гибели Мамая в Кафе его сыновья направились в Литву, где поступили на службу к литовским князьям. Их потомки и именовались князьями Глинскими. Внутриполитическая обстановка в Литве толкнула князя Михаила на союз с Москвой. Василий не преминул воспользоваться подвернувшимся союзником. В 1507 году, когда московские войска вторглись в литовские владения, Глинский сразу же присоединился к ним. Сигизмунд оказался не подготовленным к войне и в 1508 году поспешил заключить мир, по которому признавал за Москвой в «вечное» владение все земли, отнятые у Литвы Иваном III. Глинские выехали на Русь, вскоре заняв ведущее положение при дворе Василия.
Но мир с Сигизмундом продержался недолго. Осенью 1512 года, использовав незначительный повод, московский князь объявил Литве войну. При этом Василий начал переговоры с императором Максимилианом Габсбургом, также претендовавшим на часть польских земель. Но разделу Польши в то время не дано было осуществиться. Основной удар Василия был направлен на Смоленск. Дважды московские войска пытались овладеть городом, но безуспешно. Наконец в июле 1514 года город был подвергнут сильному артиллерийскому обстрелу. Польский наместник Юрий Сологуб и владыка Варсонофий сдали Смоленск 30 июля 1514 года. С великой радостью Василий III 1 августа въехал в город, поставив своим наместником князя Василия Васильевича Шуйского. Таким образом, древний русский город вновь вошел в состав русского государства.
Недоволен был лишь Глинский, который мечтал о том, что Василий даст Смоленск ему в удел. Раздосадованный князь начал тайные переговоры с Сигизмундом, обещая помощь ему в войне с Василием. Но перебежчик был схвачен, доставлен в Москву и посажен в темницу. Война продолжалась. 8 сентября 1514 года русское войско потерпело сокрушительное поражение под Оршей от князя Константина Острожского, бывшего московского подданного, а теперь литовского воеводы. В кровопролитной битве погибло 30 000 русских воинов, многие воеводы и бояре московские попали в плен. Поражение под Оршей воодушевило Литву, теперь один город за другим стремился сдаться победителю. В Смоленске созрел заговор, во главе которого встал владыка Варсонофий. Он предложил Сигизмунду сдать Смоленск без боя. Однако князь Шуйский не допустил измены, он приказал схватить всех заговорщиков, в том числе и владыку. Когда войска Острожского подошли к стенам города, то взору князя открылась жуткая картина. На городской стене были повешены все изменники, на одном была богатая шуба, на шее другого висел серебряный ковш и т. д. — каждый с тем подарком, которым одарил его Василий III, принимая к себе на службу. Варсонофию, впрочем, удалось избежать этой позорной казни. Острожскому не удалось взять Смоленск.
После этого русско-литовская война приняла вялотекущий характер, обе стороны были истощены значительными потерями. Развязке способствовали действия крымского хана. Махмет-Гирей пытался возвести свой род на престол Казанского ханства. Однако, когда скончался казанский правитель Махмед-Амин, Василий III, не желая укрепления Гиреев, сделал ханом своего ставленника Шиг-Алея. Тогда Крым начал широкомасштабную войну. Крымские татары подошли к Казани, Шиг-Алей был низложен, и Казань оказалась в руках Гиреев. Сам крымский хан в 1521 году направился с большим войском на Москву. К татарам присоединились и днепровские казаки. Из Казани также выступило войско. Московское войско, которым руководили брат Василия Андрей Старицкий и князь Дмитрий Бельский, бежало. Другие воеводы погибли в стычках с крымцами. Страшная гроза вновь нависла над столицей.