Надзор за ссыльными поручили майору Петрову, специально присланному из Тобольска, и березовскому воеводе Бобровскому, которые оказались людьми чрезвычайно добрыми. Тронутые положением и просьбами Долгоруких, они, несмотря на указ императрицы, разрешили им принимать у себя гостей, гулять по городу и даже посещать некоторых городских чиновников. Бобровский и его жена присылали Долгоруким
Княгиня П. Ю. Долгорукая, приехавшая в Березов уже совершенно больной, спустя несколько недель умерла. Вслед за ней скончался и князь Алексей Григорьевич, удрученный годами, несчастиями и суровостью сибирского климата. Дети похоронили их близ Рождественской церкви и соорудили над могилой деревянный памятник, который сгорел в 1764 году. Но обуглившиеся бревна его, поросшие густым дерном, можно было видеть еще и 100 лет спустя.
Князь Иван Алексеевич после смерти родителей остался главным в семье. Но он был человек слабый, и, к сожалению, поведение его не могло внушить к нему уважения со стороны младших братьев и сестер: наоборот, оно имело на них самое пагубное влияние. Сокрушаясь более всего о потере материальных благ, Иван Алексеевич старался залить свое горе вином, не обращая внимания на слезы и мольбы страстно любившей его жены. Дни и ночи проводил он в обществе березовских приказных и мещан, напиваясь с ними до бесчувствия. Покинутая мужем, подвергавшаяся всевозможным оскорблениям и неприятностям со стороны его братьев и сестер, Наталья Борисовна, сама слабая здоровьем, находила утешение лишь у колыбели сыновей.
А „царская невеста“ — княжна Екатерина Алексеевна, несмотря на свою чрезмерную гордость, коротко сблизилась в Березове с офицером тамошнего гарнизона — поручиком Дмитрием Овцыным. Связь их стала известна, и благосклонности княжны стали искать и другие, в частности, тобольский подьячий Осип Тишин, часто наезжавший в Березов по делам службы. Как-то раз в пьяном виде он слишком нескромно выразил княжне свои виды и желания, и оскорбленная Екатерина Алексеевна пожаловалась возлюбленному. Д. Овцын подговорил двух своих товарищей, и втроем они жестоко избили О. Тишина. Последний поклялся отомстить обидчикам, а пока продолжал навещать Долгоруких и нарочно заводил с ними беседы об императрице и придворных событиях в надежде, что кто-нибудь из них да проговорится. В 1731 году болтливый князь Иван в пылу разгоревшегося очередного спора, к тому же разгоряченный вином, перестал стесняться в выражениях, назвал Анну Иоанновну шведкой и добавил еще несколько нелестных слов о ней и ее любимце Бироне. Приставленный наблюдать за ссыльными капитан П. Шарыгин тотчас донес об этом майору Петрову, но майор оказался человеком благородным и порядочным и постарался замять дело. Тогда тобольскому губернатору был подан рапорт, в котором говорилось о тех послаблениях, которые оказывают ссыльным майор Петров и воевода Бобринский. Губернатор отписал обо всем в Санкт-Петербург, и вскоре оттуда пришел именной указ:
Для секретного расследования дела из Тайной канцелярии в Березов срочно отправили капитана Ушакова, родственника А. И. Ушакова, начальника Тайной канцелярии. Тот очень ловко скрыл настоящую причину своего прибытия и уверил всех, что его прислали узнать, в каком положении находятся узники и по возможности облегчить их участь. Капитан каждый день навещал Долгоруких, обедал с ними, гулял по городу, а когда выяснил все, что было нужно, отбыл в Тобольск. И на другой же день после его отъезда князя Ивана Алексеевича отделили от семьи и заключили в землянку. Кормили его грубой пищей и очень скудно, лишь бы он не умер с голоду. Княгиня Наталья Борисовна выплакала у караульных солдат дозволение тайно по ночам видеться с мужем через оконце и носить ему еду.
В сентябре 1738 года, в темную дождливую ночь, к Березову подплыло судно. На него посадили князя Ивана Алексеевича, воеводу Бобровского, майора Петрова, поручика Д. Овцына, казачьего атамана Лихачева, боярина Кашперова, березовских священников и некоторых других жителей. Несчастных привезли в Тобольск и сдали все тому же капитану Ушакову, который теперь явился перед ними грозным и неумолимым судьей. Начались допросы