Именно любитель прогулок, верховой езды и садовод Джей настаивал на том, чтобы каждое лето проводить несколько недель в деревне. После различных пребываний не только в Лонг-Бранче, но и в местах, которые больше нравились Гулду, таких как Белые и Зеленые горы, Джей наконец нашел загородное убежище, которое понравилось ему настолько, что он решил сделать его постоянным. Летом 1877 года Гулд арендовал обнесенное стеной поместье площадью триста акров с видом на реку Гудзон в Ирвингтоне (недалеко от Тарритауна). Это место, расположенное неподалеку от поместий Сайруса и Дэвида Дадли Филдов, ранее было домом Джорджа Мерритта, некогда преуспевающего нью-йоркского торговца, умершего в 1873 году. Гулд арендовал дом у вдовы Мерритта. Названный Линдхерст (первоначально Линденхерст, но позже сокращенный) в честь лип, растущих на территории дома, он представлял собой самый лучший образец архитектуры готического возрождения, который можно найти в Соединенных Штатах. Известный архитектор Эндрю Джексон Дэвис впервые задумал и построил асимметричную коллекцию причудливых башенок, финтифлюшек, контрфорсов и трилистников для первого владельца Линдхерста Уильяма Полдинга - бывшего мэра Нью-Йорка, который называл это место Кнолл, в 1838 году. Двадцать шесть лет спустя Дэвис вернулся, чтобы удвоить размеры и без того большого дома, добавив новое крыло и башню по приказу Мерритта. После этого дом стал напоминать мрачный и сложный готический замок: вполне подходящее жилище для финансового Дракулы. (В 1960-е годы здесь снимали сверхъестественную мыльную оперу "Мрачные тени"). Но такое впечатление создавалось только снаружи. Интерьер был открытым, гостеприимным и наполненным светом из многочисленных стратегически расположенных окон. Гулды любили это место.
Однако больше всего Джея привлекала территория. Широкие лужайки, обрамленные древними липами, вязами, буками, березами и соснами, спускались от дома к реке. Вдоль береговой линии длинная лужайка упиралась в железнодорожные пути Нью-Йоркской железной дороги, которой принадлежало право проезда. Из дома открывался большой вид на Гудзон, с которого открывались прекрасные виды на Палисады на юге и Таппан-Зи на севере. Здесь Джей играл в крокет со своими детьми. Здесь же он прогуливался в сумерках или сидел на скамейке с одной из своих книг. В Линдхерсте также были большие конюшни, что позволяло Джею и его мальчикам заниматься верховой ездой. Но самое главное для Джея - к северу от замка находилась самая большая оранжерея в Соединенных Штатах: 380 футов в длину и 37 футов в ширину, с 60-футовыми крыльями на каждом конце и высоким куполом, поднимающимся на 100 футов в воздух. В ясный день, стоя под куполом на платформе, к которой вела лестница, можно было смотреть на север и видеть не только Гудзонское нагорье, но и далекую синеву родных Катскиллов Джея, на которые он указывал и называл детям "домом". (Гулд часто ностальгировал по старым временам и друзьям в Катскилсе и продолжал иногда появляться там).
Три лета в Линдхерсте так увлекли Гулдов, что в 1880 году Джей выкупил поместье у миссис Мерритт, заплатив 250 000 долларов. Вскоре после покупки он превратил большую бильярдную комнату на втором этаже в галерею, где повесил свою растущую коллекцию картин представителей барбизонской школы. В то же время он захватил еще две комнаты на главном этаже, чтобы создать частную библиотеку со стеклянными шкафами. Что касается оранжереи, которая пустовала после смерти Мерритта, Джей приказал немецкому ландшафтному дизайнеру и мастеру-садовнику Фердинанду Мангольду, которого Мерритт импортировал в 1864 году, заполнить ее большим количеством редких роз, орхидей и других сокровищ. Каждый вечер тем летом, вернувшись домой на Нью-Йоркском центральном поезде и поужинав с семьей, довольный Гулд в деловом костюме и ковровых тапочках отправлялся в оранжерею, где вместе с Мангольдом с удовольствием занимался сортировкой и посадкой растений. К тому времени, когда Джей и его семья вернулись на Пятую авеню той осенью, он потратил более 40 000 долларов на различные сорта цветов и растений. Той осенью его часто можно было встретить в Линдхерсте по выходным, когда он играл с корнями и луковицами.