После смерти отца Иван становится великим московским князем Иваном III. Начав самостоятельное правление, новый великий князь действовал, прежде всего, в двух направлениях. Во-первых, он стремился постепенно присоединять к своему государству другие русские княжества и земли, продолжая политику централизации, начатую его предшественниками. Во-вторых, встал вопрос о выходе Руси на широкую международную арену. Сделать это было нельзя, не ликвидировав зависимость от Орды, характеризующуюся униженным положением московского князя перед ордынским «царем».
В первом направлении Иван действовал различными способами. Мы помним, что еще при Василии II рязанский князь Иван Фёдорович перед смертью «передал» своего малолетнего сына Василия под опеку великого князя. Воспитанный в Москве княжич подрос, и в 1464 году женился на сестре Ивана, Анне. Московский князь проявил истинное великодушие: не нарушил данное его отцом слово и не воспользовался благоприятным случаем, чтобы ликвидировать самостоятельное Рязанское княжество, хотя имел для этого все возможности. Василий с молодой женой отправился на свое княжение, и Рязань таким образом оказалась в политическом плане подчиненной Москве. В сентябре 1472 года скончался один из младших Ивановых братьев князь Юрий Дмитровский. Он не был женат, и поэтому его удел оказался выморочным. Перед смертью Юрий не сделал никакого завещания, и его земли должны были быть разделены между остальными братьями. Однако Иван самовольно присоединил Дмитров, Можайск и Серпухов к своим владениям. Это, безусловно, вызвало неприязнь братьев, и чтобы как-то смягчить положение, московский князь пожаловал брату Борису Вышгород, Андрею меньшому — Тарусу, а Андрею большому был передан матерью городок Романов. В 1473 году братья заключили договоры, по которым младшие обязывались «не вступаться» за земли покойного Юрия. В 1474 году Иван купил у одной из линий ростовской княжеской династии их вотчину — половину Ростова и Ростовского княжества. Таким образом, и эти традиционно великокняжеские, исконно русские земли вошли в состав Московского государства.
Одним из важнейших мероприятий Ивана III в процессе объединения русских земель вокруг Москвы стало присоединение Новгорода, начавшееся еще в начале 1470-х годов. Уже давно на город положили глаз литовские князья, мечтавшие присоединить Новгород к своему государству или хотя бы поставить в зависимость от своей власти, используя его как опорный пункт для борьбы с Москвой. Тем не менее и московские князья считали Новгород своей вотчиной, так как он входил в круг владений великого князя. Конфликт начался в 1470 году, когда в Новгороде появился князь Михаил Олелькович, потомок Ольгерда, ставленник великого литовского князя Казимира IV Анжея Ягеллончика. Новгородцы разделились: одни поддерживали литовцев, другие — москвичей. На вече дело дошло даже до рукопашной схватки. В конечном итоге «литовская» партия одержала верх. Душой этой группировки были видные бояре Борецкие — вдова Марфа и дети покойного посадника Исаака Андреевича, склонявшиеся к признанию Казимира новгородским князем. Они уже подготовили докончание с великим литовским князем об этом и выгнали Михаила Олельковича из города. Это было, по сути, началом войны Новгорода за отделение от Москвы. Причем союзниками новгородских бояр выступил не только Казимир, но также магистр Ливонского ордена Вольтус фон Герзе, предъявивший территориальные претензии верному Москве Пскову, и хан Большой Орды Ахмат. В Орду приехал посол Литвы некий Кирей Амуратович, уговаривавший Ахмата выступить в поход на Русь.
Иван III не испугался надвигавшейся опасности, в послании к новгородцам он особо подчеркнул свои родовые права на власть над городом. Это вызвало бурю на вече, и сторонники Борецких открыто заявили: «Московский князь многие обиды и неправды над нами чинит, хотим за короля Польского и великого князя Литовского Казимира». Великий князь Московский и митрополит Филипп направили к новгородцам посольство, пытаясь сохранить мир. Однако горожане не хотели идти на соглашение с Москвой. Весной 1471 года Иван принял решение начать войну. Впервые московский князь собирался в поход на Новгород в летнее время, которое традиционно считалось по погодным условиям неблагоприятным. Тем не менее московские рати выступили в поход. Очень быстро отдельные отряды новгородцев были разбиты московским войском. Псковичи в качестве союзников тоже начали войну с Новгородом. 14 июля на реке Шелони произошло решающее сражение, в котором войска Новгорода потерпели сокрушительное поражение. Исход битвы, вероятно, решила мощная московская конница.