В это время, когда началась война с Польшею за Ливонию, для царя Иоанна начались печали, искушения, которых он победить не мог, и он сделался из доброго царя царем жестоким, Грозным. У него начались неприятности с людьми, которых он приблизил к себе и на которых совершенно положился, с Сильвестром и Адашевым. Царю было неприятно, что Сильвестр и Адашев сблизились с теми боярами, которых он не любил, которым не доверял, и, наоборот, завели ссору с родственниками царицы, Романовыми; царица, разумеется, брала сторону своих и тем не нравилась Сильвестру, Адашеву и друзьям их; Иоанн Васильевич, таким образом, находился в очень трудном положении, был, как говорится, между двух огней.
Еще в 1553 году случилось несчастное происшествие, которое заставило Иоанна думать, что Сильвестр и Адашев не имеют к нему и его семейству никакого усердия. В этом году он опасно занемог, так что не думал остаться жив, написал духовную и потребовал, чтоб двоюродный брат его, князь Владимир Андреевич, и бояре присягнули еще при его жизни сыну его, младенцу; но Владимир Андреевич отказался присягать; он поднял старину, объявил, что дядя имеет больше права на престол, чем племянник, и стал собирать себе партию, а когда другие вельможи вооружились за это против него, то Сильвестр заступился за него, а отец Адашева прямо говорил, что он со своими друзьями не хочет служить Романовым, которые, по родству с царицею, будут управлять царством во время малолетства царя. Больной Иоанн из своей спальни слышал, как в другой комнате бояре кричали: «Не хотим служить младенцу: нами будут владеть Романовы!»
Иоанн выздоровел и, разумеется, не мог забыть того, что случилось в его болезнь, хотя еще несколько лет Сильвестр и Адашев по-прежнему были в силе; но вражда между ними и царицею Анастасией все более и более усиливалась. Кроме того, Иоанн, имея большой ум, широкие взгляды, не мог в иных государственных делах соглашаться с мнениями Сильвестра, а тому это не нравилось, и он не умел скрывать своей досады. Дело кончилось тем, что Сильвестр и Адашев должны были удалиться из Москвы: Сильвестр ушел в монастырь, Адашев уехал воеводою в один из завоеванных ливонских городов. Немного спустя после удаления Сильвестра и Адашева умерла и царица Анастасия. Царь чрезвычайно грустил в своем совершенном одиночестве; около него не было человека, который бы дал ему нравственное утешение, нравственную поддержку; люди, боявшиеся, чтоб Сильвестр и Адашев опять не приблизились к царю, начали толковать, что царица Анастасия погибла от врагов своих. Друзья Сильвестра и Адашева со своей стороны хлопотали, чтоб подняться и возвратить вождей своих; но им это не удалось, некоторые из них были казнены, другие сосланы; Сильвестр и Адашев умерли в изгнании.
Одним из самых знаменитых и любимых царем воевод был князь Андрей Михайлович Курбский, кроме заслуг воинских отличавшийся образованностью, начитанностью, чем был похож на царя, который также удивлял своею начитанностью в Священном писании и летописях (других книг тогда не было), удивлял искусством в речи изустной и письменной. Князь Курбский был другом Сильвестра и Адашева. Слыша, что его друзья в беде, слыша, что и о нем самом царь в сердцах высказался дурно, как о соумышленнике враждебных ему людей, Курбский решился бежать из России: это было ему сделать легко, потому что он начальствовал войском в Ливонии. Курбский ушел к польскому королю Сигизмунду Августу, который принял его с честью, наградил землями. Чувствуя, что сделал дурно, стал изменником, Курбский вздумал оправдаться и написал Иоанну послание, в котором всю вину складывал на царя, выставлял его гонителем лучших людей, которые ему и царству добра хотели, вспомнил и старину: так как он был потомок князей ярославских, то враждебно отозвался о предках Иоанна, князьях московских, особенно о деде и отце Иоанна, за то, что они окончили собирание Русской земли, отняли независимость у других князей и сделали их своими подданными. Иоанн не утерпел и отвечал ему, оправдывая себя и своих предков.