Князя Ивана Алексеевича во все время следствия содержали в тобольском остроге прикованного к стене — с кандалами на руках и ногах. Измученный нравственно и физически, он впал в нервное состояние, бредил наяву и даже рассказал о том, чего у него и не спрашивали — о составлении подложного завещания императора Петра II. Его неожиданное признание повлекло за собой новое дело, к которому оказались причастны дядья князя — Василий Лукич, Сергей и Иван Григорьевичи и др. В конце октября 1739 года в Санкт-Петербурге было образовано обычное для политических процессов того времени „Генеральное собрание“, которое разобрало „изображение о государственных воровских замыслах Долгоруких, которые по следствию не только обличены, но и сами винились“. По повелению Бирона их привезли в Новгород, подвергли жестоким пыткам, а потом приговорили к смерти: князя Ивана Алексеевича — колесовать, а затем отсечь ему голову, остальным — отрубить головы…
Бирон не пощадил и братьев и сестер князя Ивана Алексеевича: князей Александра и Николая били кнутом, потом им урезали языки и сослали в каторжные работы; князя Алексея отправили на Камчатку матросом, а княжон заключили в разные монастыри. В Березове оставалась одна княгиня Наталья Борисовна с двумя малолетними сыновьями, родившимися в этом суровом краю. Долго не знала она ничего о судьбе неизвестно куда увезенного мужа. Но в конце ноября на престол вступила Елизавета Петровна; по указу императрицы все Долгорукие, близкие ее племяннику Петру II, были возвращены из ссылки.
Наталья Борисовна вернулась в Петербург молодой женщиной, тогда ей было всего 28 лет. Можно было бы начать жизнь заново, но она осталась верна любви и памяти покойного мужа, отклонила усиленные приглашения ко двору и отказала всем женихам. В Санкт-Петербурге княгиня поселилась в доме своего родного брата Петра Борисовича Шереметева, одного из самых богатых людей России и владельца выстроенных им усадьб Кусково и Останкино. Унаследовав от отца 80 000 крепостных крестьян, он не отдал вернувшейся из ссылки сестре законную часть отцовского наследства. И тогда княгиня решила хлопотать о возврате ее детям 16 000 душ, конфискованных у мужа. Она обратилась с просьбой о содействии к всемогущему тогда Лестоку — императорскому лейб-медику. Тот взялся за дело и даже ручался за успех его, но потребовал за свои хлопоты великолепные часы с курантами, купленные графом П. Б. Шереметевым в Лондоне за 7000 рублей. Граф решительно не хотел расставаться с часами, Лесток отказался хлопотать, и правительство возвратило Наталье Борисовне только 2000 крестьянских душ. Княгиня очень скромно устроилась в Москве и целиком посвятила себя воспитанию сыновей. А когда дети выросли, она перебралась в Киев и там приняла постриг во Флоровском монастыре.
Но несчастья не оставляли Н.Б Долгорукую и здесь. Младший сын ее, Дмитрий, сошел с ума от несчастной юношеской любви. Наталья Борисовна, в монашестве Нектария, перевезла сына в Киев в надежде, что уединенная иноческая жизнь исцелит его. Но, чтобы постричь молодого князя из знаменитого рода, нужно было согласие императрицы: оно было получено только в царствование Екатерины II, но оказалось уже не нужным. Дмитрий Иванович Долгорукий умер в 1769 году; мать пережила сына на два года и скончалась, будучи 58 лет от роду.
„Государеву невесту“ Е. А. Долгорукую после ссылки поселили в Томском Рождественском монастыре, где держали в самом строго заключении. Она пробыла здесь более двух лет, однако несчастья нисколько не смягчили ее высокомерного нрава. Однажды приставница, за что-то рассердившись, замахнулась на княжну огромными четками.