В том же 1882 году, когда он открыл новую оранжерею, Гулд также переехал из дома 578 по Пятой авеню на Манхэттен в более просторный таунхаус через дорогу. Номер 579 находился на северо-восточном углу Сорок седьмой улицы и Пятой. Джей последовал примеру своего соседа Дариуса Огдена Миллса, горнодобывающего и банковского магната, жившего в квартале к северу от дома 634 по Пятой авеню, когда нанял известную компанию Herter Brothers для переделки интерьера дома. На современных фотографиях изображен большой, если не сказать дворцовый, четырехэтажный дом с тремя пролетами и центральным входом. Семья Гоулдов занимала семь спален на втором и третьем этажах, а четвертый этаж и подвал предназначались для персонала. Джей и Элли делили большие смежные спальни на втором этаже, выходящие на Пятую авеню. На втором этаже также располагалась изысканная библиотека Гулдов с камином, в которой хранилась большая коллекция книг, не уступавшая той, что была в Линдхерсте.12
И в доме 579, и в Линдхерсте братьям и сестрам Джея и их семьям всегда были рады. Вдовец Абрам Гулд регулярно отправлял юного Фреда проводить долгие лета со своими кузенами в большом поместье на Гудзоне. Дети Бетти Гулд и Гилберта Палена - Анна, Руфус и Гилберт-младший, родившийся в 1870 году и ставший известным врачом, - тоже приезжали в гости из своего уютного дома в Джермантауне, штат Пенсильвания, в шестидесяти милях от процветающего кожевенного завода, принадлежавшего их отцу и их дяде Эдварду. (Еще один сын Паленов, Уолтер Гулд Пален, скоропостижно скончался в 1877 году в возрасте двух лет.) Но самое главное, Джей и Элли Гулд сделали свой дом открытым для сестры Джея Сары Нортроп и ее многочисленного семейства.
Джорджу Нортропу нелегко пришлось в последующие годы. В конце концов его кожевенный завод потерпел крах, после чего Джей устроил его в магазин в пенсильванской деревне неподалеку от Паленов. Но щедрая благотворительность Гулда в итоге ничем не помогла Нортропу. В шестьдесят с лишним лет, безутешно переживая крах своего бизнеса и ухудшение здоровья, гордый мужчина в конце концов решил покончить с собой. "Не волнуйся, Сара, - написал Джей сестре сразу после получения известия о трагедии. "Я помогу тебе".13 Вскоре после этого Сара получила от Джея длинное письмо, написанное от руки, в котором он давал ей подробные инструкции о том, как именно она должна закрыть магазин. В том же письме он объяснил, что оплатит все долги, оставленные Джорджем, и что отныне Сара будет ежеквартально получать солидные чеки на содержание себя и детей.
К этому времени пятеро сыновей и дочерей Джорджа Нортропа, которых он родил Кэролайн Пален до женитьбы на Саре, уже выросли и разъехались, но у Сары оставалось девять собственных детей. (Ее младший и десятый ребенок, Анна, умерла в возрасте десяти лет в 1880 году.) Что касается этих детей, Джей подчеркнул, что каждый из них должен продолжать обучение в школе, а отчеты об успеваемости должны быть отправлены ему на рассмотрение. С самого начала Джей дал понять, что намерен стать для Сары и ее семьи не просто подписывателем чеков, но и суррогатным отцом. "Дядя Джей, - с нежностью вспоминала Элис Нортроп, - вошел в жизнь моих братьев, сестер и меня как нечто гораздо большее, чем просто дядя. Он поддерживал семью в трудную минуту, помогал материально, когда мы один за другим вставали на ноги. Его помощь была совершенно невостребованной. Более того, в оставшиеся годы он во многом занял место, освобожденное отцом".14
После того как старшая дочь Сары, Ида, окончила Вассар и проявила интерес к открытию подготовительной школы, Джей перевез Нортропов в Камден, штат Нью-Джерси, родной город Джорджа Нортропа, и профинансировал это дело. Построенная им школа включала в себя двенадцатикомнатную резиденцию для Сары и тех младших Нортропов, которые оставались привязанными к ее фартуку. Со временем один из сыновей, Рид Нортроп, сделал карьеру в компании American Refrigerator Transit, дочернем предприятии Missouri Pacific. После того как в Уэлсли с Элис произошел несчастный случай, в результате которого она осталась хромой и была вынуждена оставить колледж, Гулд утешил ее рассказами о своих собственных юношеских разочарованиях и о том, как он всегда их преодолевал. Затем он устроил ей пятнадцать месяцев отдыха и восстановления во Франции, после чего она вернулась без хромоты и начала преподавать французский язык в школе Иды.