Помимо домашнего хозяйства, семьи и друзей, благотворительность Гулда была очень обширной. Во время эпидемии желтой лихорадки в Мемфисе в 1879 году Гулд отправил телеграмму исполняющему обязанности главы благотворительной ассоциации Говарда в этом городе: "Посылаю вам по телеграфу 5 000 долларов для помощи Ассоциации Говарда. Я уверен, что щедрые люди по всей стране внесут свой вклад в помощь вашему пострадавшему городу. Во всяком случае, продолжайте свою благородную работу, пока я не скажу вам остановиться, и я оплачу счет. Каковы ваши ежедневные расходы? Ответьте".12 Получив сообщение о том, что расходы составляют 1000 долларов в день, Гулд предоставлял эту сумму до тех пор, пока кризис не утих. В другой раз, посещая старый дом Джорджа Вашингтона в Маунт-Верноне, Гулд изучил карты поместья и поинтересовался у управляющего, почему участок к северо-западу от особняка Вашингтона не является частью собственности . Когда ему сообщили, что владельцы дома и территории, Дамская ассоциация Маунт-Вернона, хотели бы получить этот холмистый участок, но устав запрещает им напрямую инвестировать в прилегающие земли, Гулд тут же предложил купить участок и подарить его, попросив лишь не использовать его имя в рекламе.
В начале карьеры склонность Джея к анонимности в вопросах благотворительности объяснялась его желанием сохранить репутацию не очень хорошего парня. Позже, когда он действительно стал пленником своей легенды и с радостью вырвался бы из нее, если бы мог, анонимность стала необходимой по другим причинам. Дело в том, что в тех редких случаях, когда пресса узнавала о благотворительной деятельности Джея, он обычно терпел унижения, когда его высмеивали, а его филантропию подвергали издевательствам. В начале 1890 года Гулд узнал, что двум ирвингтонским церквям угрожают построить таверну на пустыре между ними. Не обращаясь к нему с просьбой, Джей решил купить участок и передать половину каждой церкви. Когда газета "Таймс" узнала об этом, заголовок газеты гласил: "ДЖЕЙ УСПОКАИВАЕТ СВОЕ СОЗНАНИЕ".13 Примерно в это же время, после того как Джей пожертвовал 25 000 долларов на помощь Университету города Нью-Йорка в покупке нового кампуса в Бронксе, он снова получил упрек. Он сказал Алисе Нортроп: "Похоже, с меня хватит пожертвований. . . . Похоже, это приносит только неприятности и проблемы. Все, что я говорю, искажается. Все, что я делаю, намеренно неправильно истолковывается. Я не особенно забочусь о себе, но все это так отражается на моей семье".14 На самом деле он продолжал жертвовать, но тихо, как и прежде.
В начале 1884 года дочь Морозини Виктория ошеломила нью-йоркское общество, сбежав с кучером, недавно уволенным из семьи. Вскоре после этого ужаснувшаяся жена Джея, Элли, долго говорила Алисе Нортроп о том, как ужасно будет, если кто-нибудь из девушек Гулдов или Нортропов когда-нибудь выйдет замуж за представителя класса слуг. Затем сын Элли, Джордж, еще больше улучшил эту ужасную перспективу. Всего через несколько недель после приключения Виктории Джордж объявил о том, что он начал двухлетнюю помолвку с красивой молодой актрисой Эдит Кингдон, выходцем из обедневшей бруклинской семьи. По словам Элис, Элли мысль о женитьбе Джорджа на женщине со сцены показалась ей "совершенно отвратительной, таким ужасным, совершенно сокрушительным ударом! [Но если она придавала слишком большое значение "семье" и социальным различиям, то просто не могла ничего с этим поделать. Воспитанная в старых (скажем, "мюррей-хилловских"?) традициях, она впитала в себя все это".15 Воспоминания о золотоискательнице Джози Мэнсфилд, должно быть, заполнили голову Элли, когда она громко протестовала против неуместности этого матча, но муж вежливо, но твердо отмалчивался, поскольку сам был выходцем из скромной среды и не имел привычки срывать зло на людях. "Она вышла на сцену, чтобы заработать себе на жизнь и поддержать мать, - сказал Джей репортеру New York Times на следующий день после свадьбы пары 14 сентября 1886 года, - и это, я думаю, очень большая ее заслуга. Я почитаю ее за это".16