Непросто складывались отношения Ивана III со своими младшими братьями. Особенно выделялся среди них Андрей Васильевич Большой, князь угличский, который, в отличие от Юрия Васильевича и Андрея Васильевича Меньшого, считал себя полноправным правителем отдельного княжества и полагал возможным проводить свою собственную политику. За Андреем Большим увлекся и Борис Васильевич, князь волоцкий. Эти братья великого князя встали в оппозицию к Москве. Первой ласточкой конфликта была смерть бездетного Юрия Васильевича, князя дмитровского, и отказ Ивана III разделить его владения. Но ссору удалось потушить стараниями матери — Марии Ярославны. Она вообще очень нежно относилась к Андрею Большому, сыну, родившемуся в дни тяжелого заточения. Заступничество Марии Ярославны оберегало строптивого князя и позже. Иван не решался перечить матери. В 1480 году Андрей Большой и Борис подняли мятеж, обратившись за помощью к королю Казимиру, который в завещании Василия II был назван опекуном его сыновей. Братья попытались начать широкомасштабную смуту, но вмешательство матери и надвигавшаяся гроза Ахматова вторжения спасли положение. Иван примирился с князьями, и на Угре их полки уже стояли рядом с московским войском. Со смертью Марии Ярославны в 1485 году у Ивана III оказались «развязаны руки», и он лишь ждал случая, чтобы приструнить непокорных братьев.
В мае 1491 года Иван получил известие о том, что сыновья Ахмата начали войну с крымским ханом Менгли-Гиреем и приближаются к его владениям. Верный союзническому долгу, великий князь собрал рать и направил ее на помощь хану. При этом Иван приказал и братьям прислать войска. Борис подчинился, а Андрей не послал свои отряды. Хотя до боя дело не дошло и «царевичи» отступили, Иван III запомнил своеволие Андрея. 19 сентября 1491 года угличский князь прибыл по приглашению Ивана в Москву, а затем был схвачен и посажен в тюрьму. В ноябре 1493 года он скончался в темнице от голода; его сыновья провели в заключении и в монастыре остаток своих дней. Таким образом, Угличский удел был ликвидирован.
С Борисом Иван поступил иначе. В октябре он и его вызвал в Москву, но отпустил в свой удел «с миром». Борис умер в 1494 году в Волоке и разделил свои владения между сыновьями: Фёдор получил Волок, а Иван — Рузу. Иван умер еще в 1503 году, при жизни Ивана III, и завещал великому князю свой удел. Фёдор скончался при Василии III, в 1513 году. После его смерти Волок был присоединен к Москве.
Первая жена Ивана III Мария Борисовна тверская скончалась очень рано, в 1467 году. Возможно, она была отравлена; во всяком случае сам Иван верил в это. 11 февраля 1469 года в Москву прибыло посольство из Рима во главе с греком Юрием Траханиотом. Через послов кардинал Виссарион предложил Ивану проект брака с византийской принцессой Зоей Палеолог. Зоя доводилась племянницей последнему византийскому императору Константину XI. После падения Константинополя Фома, деспот провинции Мореи (территория Пелопоннеса), отец Зои, вынужден был бежать в Италию. Дети Фомы жили в Италии на скромную пенсию папы и под опекой кардинала Виссариона. Есть свидетельства о том, что Зоя вышла замуж за итальянского князя Карраччиоло, но рано овдовела. Она была бедна и не слишком привлекательна, поэтому претендентов на руку бедной принцессы не находилось. Зоя отличалась ярко выраженными византийскими чертами лица, о чем свидетельствует ее скульптурный портрет, воссозданный по черепу, и полнотой. Один язвительный итальянец писал, что после ее посещения ему всю ночь снилось сало, масло и прочая жирная снедь. Брак Зои с Иваном III отвечал интересам римской курии, желавшей наладить хорошие отношения с Москвой, тем более что эти отношения так быстро разрушились после Флорентийского собора, получившего на Руси печальную известность.
С ответным посольством в Рим был направлен Джанбатиста Вольпе («Иван Фрязин»), заключивший с папой предварительное соглашение о женитьбе Ивана на Зое. Затем произошел еще один обмен посольствами. В Москву приехал Антонио Джисларди, который привез Ивану портрет Зои. Видимо, это было первым знакомством Москвы с живописью итальянского Возрождения. Наконец, в 1472 году новое посольство Вольпе привезло Зою на Русь, 12 ноября был совершен обряд венчания, и Зоя «превратилась» в московскую великую княгиню Софью Фоминичну. С тех пор установились связи Москвы с Италией и непосредственно с папской курией, но планам возвращения русской церкви в лоно унии так и не суждено было осуществиться.