Одновременно крымские татары усилили давление на Казанское ханство, находившееся в вассальной зависимости от Москвы, Союзник Василия III казанский хан Шах-Али в 1521 г. был свергнут, правителем Казанского ханства стал брат крымского хана Сахиб-Гирей. У южных границ Руси образовался сильный военный союз нескольких татарских ханств — Крымского, Казанского, Астраханского, Ногайской Орды. Этот союз сложился при полощи турецкого султана. Обстановка на степном рубеже сразу обострилась.
В 1521 г. большое татарское войско двинулось на Русь. По словам летописца, крымский хан вышел в поход «с крымскими людьми, и Большой Ордой Заволжской, и с Ногаями». В походе принимали участие и казанские татары. Татары перешли Оку, «коломенские места повоевав», и направились к Москве. Нападение было неожиданным. Великий князь Василий оставил свою столицу и отошел к Волоку, где начал собирать войско, разослав повсюду гонцов. В Москве «множество людей в осаду собралось». Город крымский хан осаждать не решился и отошел в степь, захватив бесчисленный полон и оставив позади себя разоренную землю. В 1522 г. крымские татары пробовали повторить нашествие, но их поход был сорван умелыми оборонительными мероприятиями великого князя Василия III. По словам летописца, «князь Василий пошел сам ко граду Коломне, и со своими братьями пришел в Коломну, и войско свое устроил, и воевод своих поставил на берегу Оки. Царь же, услышав великого князя на Коломне, не пошел на Русь». Больше того, в следующем году великий князь сам организовал успешный поход «на второго мучителя, на царя казанского». Из Нижнего Новгорода русская судовая рать спустилась вниз по Волге, а рать «конная со многими людьми» пошла по берегу. В устье реки Суры была заложена крепость Васильсурск, вставшая на пути татарских набегов. В результате этого похода «великого князя воеводы казанские места пленили и многий плен с собою привели».
Несмотря на этот поход, в целом казанские дела складывались неудачно для Москвы. В 1524 г. казанский хан Сафа-Гирей (1524–1549 гг.) признал вассальную зависимость от Турции. Снова русская рать «в судах и на конях» двинулась к Казани. Русская судовая рать высадилась на берегу Волги выше Казани, «на казанской стороне». Вскоре подошла и конная рать, которая в жестоком бою разбила татарское войско в 20 верстах от города: «Сошлась конная рать с судовою, и начала приступать к городу, и многих татар под городом побили». Однако взять Казань русским воеводам не удалось, и они отошли, «взяв мир». Казанским ханом остался Сафа-Гирей. Но «мир» не мог быть прочным — ликвидировать крымское влияние на политику казанского хана не удалось.
В последние годы княжения Василия III обстановка на южной границе еще более обострилась. В 1528 г. «пришел Ислам, царевич крымский», и «мурзы многие безвестно к берегу Оки». Видимо, царевич располагал значительными военными силами, так как «князь великий сам против него вышел и стал в Коломенском». На Оке тогда воеводы были «не со многими людьми», однако «бились накрепко» и «за реку Ислама не пустили». В 1530 г. Василий III опять «послал к Казани рать свою». На помощь Сафа-Гирею, осажденному в Казани, пришел отряд ногайских татар. Под стенами города произошло жестокое сражение, которое выиграли русские полки. «Воеводы великого князя встали около города и повелели по городу из пушек и из пищалей бить». Снова казанцы начали переговоры, обещали «от государя неотступным быть» и принять хана, «кого им князь великий даст». На время набеги казанских татар прекратились, зато крымский хан усилил свое давление на русские рубежи. Великий князь принимал энергичные меры по укреплению южной границы. По сообщению летописца, он «послал в Коломну на берег воевод своих, а с ними княжат и дворян своего двора и детей боярских изо многих городов бесчисленно много. А наряд был великий, пушки и пищали поставлены по берегу от Коломны и до Каширы, и до Серпухова, и до Калуги, и до Угры; добра много было, сколько и не бывало». Можно себе представить, каких усилий и средств потребовало создание прочной линии обороны на таком огромном пространстве.
В 1533 г. «Ислам-царь и Сафа-Гирей и иные царевичи крымские со всеми людьми» двинулись на Рязань. Воеводы великого князя заняли броды на Оке, чтобы не допустить прорыва татар в глубь страны. Видимо, великий князь Василий опасался, что задержать татарское войско на Оке не удастся, и приказал срочно укреплять столицу. Он «повелел воеводам градским устроить в граде пушки и пищали, а городским людям повелел имущество возить в град». Сам Василий III «стал в Коломенском», ожидая прибытия войска из других городов. Между тем татары «пришли на Рязань и посады пожгли», захватили много пленных. Русские полки в этот раз не переходили Оку: в рязанские земли были посланы только отряды разведчиков, которые, впрочем, «многих татар побили, а иных живыми поймали».