В то время как молодожены наслаждались днями негаданного счастья, императрица издала указ, в котором изложила все вины опального семейства. Долгоруковы, настаивала она, «всячески приводили его величество, яко суще младого монарха, под образом забав и увеселений, отъезжать от Москвы в дальние и разные места, отлучая его от доброго и честного обхождения… И как прежде Меншиков, еще будучи в своей великой силе, ненасытным своим властолюбием Его величество, племянника нашего, взяв в свои собственные руки, на дочери своей в супружество сговорил, так и он, князь Алексей с сыном своим и братьями родными его императорское величество в таких младых летех, которые еще к супружеству не приспели, Богу противным образом, противно предков наших обыкновению, привели на сговор супружества ж дочери его, князь Алексеевой, княжны Катерины».
Вскоре в Горенки прискакал нарочный с монаршим предписанием «отправиться князьям Долгоруким всем семейством, включая «вдову-невесту» и молодых, в трехдневный срок в дальнюю свою вотчину северную – деревню Селище». Предание говорит, что княжна Екатерина родила тогда преждевременно мертвого ребенка – злополучного «государева наследника». А Наталья Борисовна, снаряжаясь в дорогу, прихватила с собой только самое необходимое – белье, носильное платье, пару икон, Четьи-Минеи, вышивание на пяльцах и перстень – подарок Петра II на обручение.
Не успели ссыльные добраться до места назначения, как их настиг новый приказ – выехать под строжайшим караулом на вечное поселение в таежную глухомань, городишко Березов, куда три года назад они спровадили теперь уже покойного Меншикова. Старших Долгоруковых разместили в угрюмых кельях бывшего монастыря, а Наталье и Ивану выделили утлый сарай. Скупа на радости была жизнь березовских изгнанников. Схоронили одного за другим родителей Ивана. Единственное утешение – дети любви, они и в неволе сердцу отрада! Тем более что их первенец Михайлушка – Натальина школа! – по-французски говорил не хуже столичных сынков дворянских. Долгие томительные вечера проводили они в чтении, воспоминаниях о прежней блестящей жизни, о придворных нравах. Порой разобиженный Иван, не сдержанный на слова и чувства (особенно во хмелю), костерил власти предержащие. Язвил он и новоявленных безродных выдвиженцев, и «рассеянную» цесаревну «Елизаветку», а об императрице сказал в сердцах роковую фразу: «Бирон-де государыню Анну Иоанновну штанами крестил».
Вступился он однажды за честь сестры, Екатерины, которой домогался докучливый подьячий Тишин. Поколотил он обидчика, а тот злобу затаил – и полетел в Петербург извет об оскорблении князем-буяном царского величества.
Кара последовала незамедлительно. Сперва Ивана, как отпетого злодея и бунтовщика, посадили в темную острожную яму на хлеб и воду, причем еду и парашу спускали вниз по веревке. Наталья Борисовна тщетно умоляла стражу разрешить ей побыть с мужем наедине хоть полчаса.
А 9 августа 1738 года обессиленного от голода Долгорукова на дощанике увезли из острога, навсегда разлучив с женой и детьми. Его жестоко и долго пытали заплечные мастера – подвешивали на дыбе, тянули жилы, били батогами. Обезумев от несносных побоев, князь в горячечном бреду оговаривал сам себя, выбалтывая даже то, о чем не спрашивали его мучители, – о подписанной им подложной духовной Петра II, некогда бесследно сгоревшей в огне. Но более всего виноватили Ивана беды, что приняла за него «лазоревый цвет Наташенька» (как он нежно ее называл). Он, в прошлом безбожник, истово и отчаянно молился, испрашивая у Всевышнего прощение за прежние грехи. И эта ниспосланная ему новая вера и любовь озарила, возвысила и укрепила его мятущийся дух, помогла сносить напасти со стоическим мужеством.
31 октября 1739 года Генеральное собрание вынесло приговор: князя Ивана Долгорукова – четвертовать, а затем отсечь голову. При этом повелевалось: казнь учинить в Новгороде публично. Она свершилась неподалеку от Федоровского ручья, в четверти версты от скудельничья кладбища. «Он вел себя в эту высокую и страшную минуту с необыкновенной твердостью, – свидетельствует историк, – он встретил смерть – и какую смерть! – с мужеством истинно русским. В то время как палач привязывал его к роковой доске, он молился Богу; когда ему отрубили правую руку, он произнес: “Благодарю тебя, Боже мой!” – при отнятии левой ноги “яко сподобил меня еси… ”, “познати тя”, – произнес он, когда ему рубили левую руку – и лишился сознания. Палач поторопился кончить казнь, отрубив его правую ногу и вслед за тем голову». Так окончил свои дни бывший фат и беспутник, любовью исправленный. «Столь неожиданный ужасный конец, полный стольких страданий, – скажет его потомок, – искупает все грехи его молодости, и кровь, обагрившая Новгородскую землю, эту колыбель русской свободы, должна примирить его память со всеми врагами нашей семьи».