После его смерти те, кто любил его больше всего, особенно часто вспоминали его изнеможение: обычные приступы глубокой усталости, с которыми его жена, Элли, научилась справляться. Возвращаясь каждый вечер в пять часов с Уолл-стрит, Джей попадал в замкнутый мир, который Элли тщательно создавала для его комфорта. Алиса писала, что ее тетя "управляла хозяйством ловкой и одновременно очень твердой рукой". Дом дяди Джея... был его утешением. И когда он возвращался, усталый, в поисках тишины и покоя, тетя Хелен заботилась о том, чтобы он их получил. Слуги исчезали из виду, как через таинственные люки, когда их функции были выполнены. Часто за столом дядя Джей был слишком измучен или озабочен, чтобы говорить. Иногда он не произносил ни слова в течение всей трапезы. . . . Я часто задавался вопросом, знает ли он, что ест. В такие моменты тетя Хелен взглядом принуждала его к строгому молчанию".2
Но после молчаливого ужина Джей неизменно перестраивался, восстанавливал силы и вновь общался с семьей. Джей всегда был, вспоминала Элис, "преданным отцом [и] заботливым и внимательным мужем". На самом деле он с удовольствием проводил время со своими детьми, которых теперь было шестеро. Помимо Джорджа, Эдвина и Нелли, в клан также входили Говард (родился в 1871 году), Анна (1875) и Фрэнк (1877). В конце жизни Джордж Гулд вспоминал, как его отец читал вслух из книг (среди которых были набирающие популярность сборники очерков о природе, написанные его старым другом Джоном Берроузом), рассказывал семейные истории и наставлял всех, кто интересовался тонкостями его сада. Он всегда делал это в самых мягких манерах, как успокаивающий и справедливый отец семейства. "Дядя Джей, - писала Алиса, - был очень тихим. Его слова были немногословны и тщательно подобраны. Он всегда был безупречно уравновешен. За многие месяцы проживания в его семье я ни разу не видела, чтобы он поддался гневу. Самообладание, я бы сказал, было одним из его наиболее ярко выраженных качеств. В вопросах, связанных с ведением домашнего хозяйства, он был справедлив и внимателен. . . . В результате в округе не было ни одного мужчины или женщины, которые не считали бы за честь ждать его, искренне желая угодить ему. . . Часто повторяли, что Джей Гулд был человеком, который получал мало удовольствия от жизни; что сама масштабность и однообразие его успеха лишали существование аромата. . . . На самом деле он получал неограниченное удовольствие, удовлетворение от многих вещей, но его удовольствие было глубоким, созерцательным, благодарным по качеству".3
В отличие от большинства женщин своего класса, Элли отказалась делегировать воспитание своих детей. В доме Гулдов, несмотря на наличие повара и нескольких дворецких и домработниц, не было ни няни, ни сиделки. О миссис Гулд и ее детях Мори Клейн писал: "Нет сомнений, что она была доминирующей фигурой в их детстве. Хотя Джей был ласковым, даже любящим отцом, давление бизнеса ограничивало его присутствие. Дети рано научились слушаться его и не беспокоить без приглашения, но неверно воспринимать Гулда как сурового патриарха викторианской эпохи. Испытания его собственного детства привили ему преданность семье, которая стала его истинной религией. У него не было другого вероисповедания, и он не делал вид, что это не так".4
Поэтому он обычно не был членом компании, когда каждое воскресенье Элли вела своих сыновей и дочерей в епископальную церковь Небесного покоя на Пятой авеню. По утрам в воскресенье, пока набожная жена Джея молилась о его выздоровлении, он работал с цветами или читал. Интересно, заметил ли он или молившаяся за него женщина, когда газета New York Times, которая редко находила слова, чтобы похвалить Гулда за что-либо, похвалила его честность, когда дело касалось духовности. "Нам не нравится мистер Гулд", - написали редакторы. "Мы не считаем его хорошим человеком. Но его заслуга в том, что он полностью свободен от лицемерия в вопросах религии".5