Вернувшись въ Москву, царь учредилъ т. н. опричнину.
Опредѣленная имъ часть государства и Москва взяты были имъ въ свое непосредственное управленіе и названы опричниной. Все остальное именовалось земщиной и поручено было управленію бояръ земскихъ. Царь желалъ лишить княжатъ земельныхъ имуществъ и раздачей ихъ вотчинъ создать новый надежный классъ землевладѣльцевъ, не связанныхъ съ притязаніями бывшихъ удѣльныхъ князей, въ лицѣ ихъ потомковъ. Проявилась ненависть къ нимъ накопившаяся въ юные годы, но, конечно, имѣлись въ виду и государственныя нужды. Личное же злое чувство и серьезная болѣзнь вызывали тѣ страшныя жестокости, которыми омраченъ былъ конецъ царствованія этого выдающагося государя. Съ 1565 года началась новая эпоха казней. Добрый старецъ, митр. Аѳанасій, которому удалось “отпечаловать” кн. Воротынскаго, тяготился происходившимъ, и въ 1566 г. по болѣзни, не выдержавъ всѣхъ ужасовъ, удалился въ Новоспасскій монастырь.Царь желалъ видѣть на митрополичьей каѳедрѣ достойнѣйшаго архіепископа казанскаго св. Германа.
Написана была уже епископами избирательная грамота. Святитель послѣ этого, бесѣдуя съ царемъ наединѣ, сталъ говорить о грѣхахъ, покаяніи; упомянулъ мягко, но вразумительно о смерти, страшномъ судѣ, вѣчныхъ мукахъ. Іоаннъ задумался, вышелъ мрачнымъ и пересказалъ любимцамъ рѣчи архипастыря. Они, указывая на примѣръ о. Сильвестра, пугали царя тѣмъ, что святитель хочетъ подчинить его своему вліянію. Царь изгналъ св. Германа изъ митрополичьяго дома, и приказалъ вновь выбирать митрополита. Онъ же намѣтилъ первосвятителя (Карамзинъ).Съ дѣтства знакомъ былъ ему юный бояринъ Колычевъ. Послѣдній оставилъ затѣмъ суету міра и спасался въ Соловецкой обители
, ставъ въ 1548 г. игуменомъ ея. Іоаннъ зналъ о подвижнической и, вмѣстѣ съ тѣмъ, кипучей дѣятельности игумена Филиппа, посылалъ дары обители, жаловалъ вотчинами, помогалъ деньгами въ строеніи каменныхъ церквей, пристаней, гостинницъ, плотинъ. Св. Филиппъ очищалъ лѣса, прокладывалъ дороги, осушалъ болота каналами; завелъ оленей, домашній скотъ, рыбныя ловли и соляныя варницы.Вызванный царемъ въ Москву, св. Филиппъ былъ принятъ имъ съ отмѣнной честью. На предложеніе быть митрополитомъ, смиренный игуменъ убѣждалъ Іоанна “не ввѣрять бремени великаго ладіи малой”. Царь былъ непреклоненъ. Тогда Филиппъ сказалъ: “Повинуюся твоей волѣ; но умири же совѣсть мою: да не будетъ опричнины! да будетъ только единая Россія! ибо всякое раздѣленное царство, по глаголу Всевышняго, запустѣетъ. Не могу благословлять тебя искренно, видя скорбь отечества”. Іоаннъ сдержалъ себя и тихо отвѣтствовалъ: “Развѣ не знаешь, что мои хотятъ поглотить меня; что ближніе готовятъ мнѣ гибель?” Онъ доказывалъ необходимость сего учрежденія. Но скоро, выведенный изъ терпѣнія возраженіями Филиппа, велѣлъ ему умолкнуть. Удаленія его все же не послѣдовало. Царь поручилъ другимъ іерархамъ воздѣйствовать на Филиппа. Они убѣждали его не ставить царю условій, на что святитель согласился (Карамзинъ). Соловьевъ приводитъ запись, данную царю святителемъ: “Въ опричнину ему и въ царскій домовый обиходъ не вступаться, а послѣ поставленія, за опричнину и царскій домовый обиходъ митрополіи не оставлять”.