Поэтому Джей по понятным причинам был потрясен, когда утром 11 декабря пожар, возможно, устроенный поджигателем, уничтожил оранжерею и все, что в ней находилось. Однако его реакция напомнила ему реакцию на уничтожение огнем его истории в округе Делавэр за много лет до этого. В течение нескольких недель Джей, работая с независимым архитектором и знаменитыми производителями соляриев Лордом и Бернхэмом, завершил разработку планов по строительству эквивалентной по размеру конструкции, которая должна была быть завершена к началу 1882 года: первая в стране оранжерея со стальным каркасом. Новый Эдем Джея включал в себя виноградник в западной части, а также холодильную камеру для рододендронов, камелий, гиацинтов и луковиц. С другой стороны, в восточном крыле, располагались отдельные домики для гвоздик, роз, орхидей, азалий и других цветов. Любимым домом Джея был дом орхидей, который он со временем заполнил самой значительной коллекцией в Северной Америке: 8 000 растений, 150 видов. В полукруглой центральной части оранжереи находился большой фонтан, окруженный экзотическими пальмами.8 За пределами оранжереи Гулд расширял свои владения, пока не получил 500 акров земли, большая часть которых была засажена лесом, но некоторые были переоборудованы под фермерские хозяйства. По иронии судьбы, мальчик, который раньше презирал жизнь на молочной ферме, теперь с удовольствием занимался молочным животноводством. Гулд держал пятьдесят коров и трех призовых быков. Благодаря усилиям двадцати человек под руководством Манголда, Линдхерст ежегодно производил 250 тонн сена и много молока.
Помимо удобств и роскоши, обнесенный стеной Линдхерст обеспечивал безопасность и определенную степень свободы, которую Джей и его семья не могли найти в других местах. Дело в том, что Гулдам приходилось постоянно быть начеку, чтобы не попасть в руки сумасбродов, мошенников и потенциальных убийц. На Джея, как уже было отмечено, однажды напали в ресторане Delmonico's. В другой раз, прогуливаясь в 1877 году в районе пересечения Биржевой площади и Нью-стрит, он стал мишенью для мускулистого Уолл-Стритера по имени А. А. Селовер, который ударил его по лицу, схватил за штанину и швырнул вниз по ступенькам, ведущим в подвальную парикмахерскую. (О стойкости дурной славы Гулда говорит тот факт, что правнук Селовера, с которым удалось связаться по телефону, выразил гордость за память о побоях своего предка). После этого Гулд нигде не появлялся на публике без крепкого Морозини или бдительного охранника Пинкертона. То же самое касалось и его родственников. Элис Нортроп писала о "секретности и предосторожности, которые окружали и пронизывали все дела семьи, были приняты, неизбежны, являлись частью повседневной жизни".9 Угрозы убийств и похищений были многочисленны, как и попытки вымогательства. Некоторые из них исходили от экстремистски настроенных членов радикальных рабочих движений, другие - от оппортунистов, пытавшихся нажиться, а третьи - от простых чудаков, воображавших себя орудием Божьего праведного правосудия, желающего добраться до печально известного Гулда.
Элис вспомнила, как ранним летом 1881 года она была в Линдхерсте, сидела с дядей под рощей берез, когда слуга принес Джею телеграмму. "Элис, - полушепотом произнес он, прочитав ее, - Гарфилда застрелили, президента Гарфилда застрелили". Джей "очень побелел... . . Он откинул голову назад, чтобы успокоиться, и ратовал за эту железную волю".10 Будучи представителем в Конгрессе, Гарфилд расследовал деятельность Джея в связи с "Черной пятницей" , но за прошедшие годы Гулд узнал и полюбил этого человека. Более того, он поддержал - хотя и тихо, чтобы ненависть к Гулду не переросла в ненависть к Гарфилду, - кандидатуру республиканца на пост главы Белого дома. "Ни один человек не застрахован от окончательной кражи", - сказал размышляющий Гулд Морозини вскоре после того, как 19 сентября Гарфилд, затянувшийся, наконец, скончался от ранения. Однажды той же осенью Элис вместе с Нелли приехала в Линдхерст и обнаружила, что ее тетя и дядя "смертельно бледны", а дядя "ощутимо дрожит", когда девушки вошли в дом. Незнакомцу с оружием удалось проникнуть на территорию, и всем членам семьи было велено оставаться в доме, пока его не найдут люди, которых Элис назвала "вооруженными помощниками Линдхерста". Вскоре сыщики Джея нашли злоумышленника, спрятавшегося в зарослях кустарника. Чуть позже потрясенный Гулд вернулся в библиотеку, где его ждала семья. "О криворуком и его арсенале, - сказал он им, - хорошо позаботились".11