Не всегда жизнь Андрея Тимофеевича протекала размеренно и спокойно. Нет-нет да и врывалась в нее полоса волнений, а то и неудач. Связано это было с разными причинами: болезнями его самого или ближайших родственников, а то и смертью их, годами с неблагоприятной погодой, когда неурожаи сводили на нет труд людей. Большие неприятности доставляли козни и происки завистников. Таковыми были, в частности, люди, стремившиеся занять место управителя в Борогодицке. Было оно не только почетным и хорошо по тем временам оплачиваемым, но и предоставляло для людей нечистых па руку большие возможности для обогащения. Недаром князь С. В. Гагарин, получив от Болотова первую смету на очередное строительство, покачал головой и улыбнулся (ему вспомнились подобные сметы предшественников Андрея Тимофеевича, в несколько раз превышавшие представленную).
Особенно усилились попытки столкнуть Болотова с управительского трона в 80-е годы. Тогда ему стало казаться, что завистники возьмут верх. И с целью заблаговременно подготовить почву для возвращения в Дворяпиново Андрей Тимофеевич решил навести порядок в своей усадьбе: в его отсутствие там все пришло в заметный упадок, хотя он и наезжал туда временами. В одну из поездок вместе с сыном внимательно осмотрели дом, все хозяйственные постройки, сады, поля и несколько дней просидели над планом работ по благоустройству усадьбы.
Однажды, еще раз обходя ее, чтобы уточнить некоторые детали, Болотов и его сын присели отдохнуть в березовой роще, заложенной Андреем Тимофеевичем в первые годы после возвращения из армии. Сын, любуясь рощей, высказал мысль, что неплохо бы здесь воздвигнуть монумент в память об основателе рощи. Андрей Тимофеевич был очень тронут тогда сыновней преданностью и уважением к его труду. Под впечатлением разговора решил он выбрать место для своей будущей могилы. Вскоре и было облюбовано то место, где сейчас покоится его прах.
Вместе с делами по приведению в порядок дворяниновской усадьбы решил Болотов сделать кое-что и по улучшению положения в тамбовских деревнях, где он бывал редко. Оставленные на попечение старост и приказчиков, которые не забывали о своей выгоде, тамбовские деревни постепенно хирели, что совершенно четко фиксировалось по уменьшению с них доходов. Особенно беспокоила Андрея Тимофеевича деревня Болотовка, жители которой, по его мнению, больше всего страдали от неудачного расположения поселения. Не один раз подумывал Болотов о ее перенесении и даже место хорошее, как ему казалось, подобрал, но все как-то руки не доходили, чтобы привести план в исполнение.
Но вот в 90-х годах сын стал взрослым человеком, подлинным помощником во всех его начинаниях. Он-то и настоял на необходимости довести дело до конца. В летнюю пору 1792 г. выбрал Андрей Тимофеевич время посвободнее и вместе с сыном отправился в свои тамбовские владения. Сразу же по приезде, вооружившись астролябией, составили план местности, куда было намечено переселить Болотовку, а затем разместили на этом плане господскую усадьбу, хозяйственные постройки и крестьянские дворы.
Все, казалось, было хорошо, и довольные успешной работой отец с сыном наводили последний лоск на тщательно выполненный чертеж, когда пришел приказчик, вызванный ими: с ним они хотели еще раз уточнить некоторые детали. И тут произошло неожиданное. Приказчик, умудренный огромным опытом, прошедший все огни и воды житейского моря, за несколько минут разрушил их многодневный труд. Внимательно разобравшись в чертеже, он обнаружил серьезный изъян в плане — отсутствие выгона для скота. Его сообщение об этом как громом поразило Болотовых. Расстроенные своей оплошностью, они еще долго пытались найти выход из положения. Но все было напрасно: жесткие рамки земельного массива не позволяли маневрировать. Так и осталась Болотовка на старом месте.
В течение своей жизни Андрею Тимофеевичу много раз приходилось закладывать новые сады. Причины к тому были разные: сначала заводил сады в Дворянинове по возвращении с военной службы, затем расширял их площади. Иногда восстанавливал погибшие от морозов, заменял неудачно заложенные. Поэтому понятно, что Болотов не мог обойти своим вниманием такую проблему, как приживаемость плодовых деревьев.