По воскресеньям после обеда Гулды развлекались. Частыми гостями были мудрецы Расселы, родители Элли и другие представители ближнего круга Гулдов, в том числе Сидни Диллон, Джесси Селигман, Сайрус и Дэвид Дадли Филд. Жены общались с Элли, в то время как мужчины говорили, в основном, о своей единственной важной связи - финансах. Однако с Морозини у Джея, похоже, были несколько более близкие отношения. Оба они любили коллекционировать антикварные издания книг, и это оказалось плодородной почвой для неделовых разговоров. Еще одним искренним и хорошим другом Гулда из его деловой жизни, с которым он виделся нечасто, но к которому питал большую взаимную симпатию, был Сайлас Кларк, хронический ипохондрик, с которым Джей общался по вопросам здоровья. После семьи и старых друзей из Кэтскиллз, с которыми он виделся реже, чем ему хотелось бы, именно в этом кругу Гулд чувствовал себя наиболее уютно, расслабленно и спокойно. (Следует сказать, что бостонец Фред Эймс, похоже, вообще не проводил много времени с Джеем вне залов заседаний, разве что присоединялся к нему во время инспекционных поездок).
Помимо членов внутреннего круга, Джей и Элли мало общались. Почти регулярное осуждение Джея прессой и теми, кто оказывался в проигрыше от его спекуляций, сделало его чем-то вроде социального изгоя. Этот факт, похоже, не очень беспокоил Гулда, поскольку его изгнание из вежливого общества прекрасно сочеталось с его склонностью к уединенным занятиям и тихой замкнутости семьи. В тех редких случаях, когда Джей и Элли получали приглашение на ужин, бал или другое "неизбежное" (по выражению Гулда) мероприятие, он настаивал на позднем приходе и раннем уходе. Элли же, напротив, стремилась к светской жизни, приветствовала те немногие "неизбежности", которые возникали, и не любила, когда ее сторонились. Воспитанная в обществе, которое определяло себя исключительно по тому, кого оно впускало, а кого не впускало, Элли ощущала глубокую изоляцию Джея как изгоя гораздо острее, чем это мог бы сделать фермер из Кэтскиллз. Как писал Эдвин Хойт, "Джея не особенно интересовали вечеринки и светская жизнь. Он не пил. Он не курил. Он не плавал на маленьких лодках и не играл в бильярд. Его страстями были зарабатывание денег, чтение, прогулки и наслаждение природой".6
Однако в ответ на страдания жены Джей сделал все, что мог. В начале 1880-х годов он вместе с Уильямом К. Вандербильтом (внуком Коммодора, сыном Уильяма Х. Вандербильта) и другими некникербокерскими миллионерами финансировал строительство нового театра Метрополитен-опера. Гулдсам - наряду с Вандербильтами, Гоэлетами, Уитни, Дрекселями, Рокфеллерами, Морганами и Хантингтонами - ранее было отказано в предоставлении ложи "парадного круга" в Академии музыки на Ирвинг-плейс, где господствовали такие старые семьи, как Асторы, Ливингстоны, Шуйлеры и Бикманы. Теперь они подписались на ложи в парадном круге "Бриллиантовой подковы" нового оперного театра. "Все нувориши были там", - писала газета Dramatic Mirror, рассказывая о премьере в октябре 1883 года. Гулды, Вандербильты и другие подобные люди благоухали в воздухе запахом хрустящих гринбеков". Ярусы лож напоминали клетки в зверинце монополистов. Когда кто-то заметил, что дом выглядит ярким, как новый доллар, стал очевиден соответствующий характер собрания. Изысканному глазу украшения здания показались особенно дурными".7 Элли, которая таким образом пробилась в нужные театральные кресла, тем не менее, была отвергнута в том же году, когда Уильям К. Вандербильты, получив отказ в участии в знаменитом балу миссис Астор "Четыреста", объявили свой собственный бал, чтобы включить в него элиту Нью-Йорка "Двенадцать сотен", а затем оставили Гулдов вне списка.