Личные чувства Джея Гулда по поводу Гражданской войны не зафиксированы. В его личной переписке нет ни одного упоминания о весомых политических и социальных вопросах его эпохи - демобилизации, сецессии или каких-либо других. Если он и получил извещение о призыве, то, скорее всего, как и многие другие, купил себе замену, чтобы служить вместо него, ведь мы знаем, что Гулд никогда не носил форму. Зацикленный на бизнесе и собственном будущем, Джей, судя по всему, мало заботился о мире и ходе истории, которая проносилась перед ним. Однако было бы ошибкой полагать, что Гулд был абсолютно аполитичен. По семейной традиции он был демократом, а большинство ближайших соратников Гулда - например, адвокат Эндрю Ридер, представлявший его интересы в деле Гулдсборо, - были ярыми демократами-прорабовладельцами. Жилище Гулда в Нью-Йорке, дом Эверетта, служило штаб-квартирой Демократической партии города. Многие из нью-йоркских политиков, с которыми Гулд сблизится в последующие годы, в том числе Уильям Марси "Босс" Твид, были влиятельными лицами, связанными с демократической машиной Таммани. Позднее Гулд стал сотрудничать и с республиканцами, наиболее известным из которых был Улисс С. Грант. Но его интрига с Грантом была еще далека.
Занятый колесами, сделками и поисками точки опоры, серьезный Джей Гулд, тем не менее, находил время для общения. Однако даже это он делал обдуманно и без юмора. Похоже, он подходил ко всем вещам, даже к своим тщетным попыткам играть, с машиноподобной интенсивностью, которую некоторым было трудно принять. Генри Клеус рассказал историю о том, как летом 1861 года члены известной в округе Уэстчестер семьи Крюгер, с которыми Джей стремился наладить отношения, пригласили его в круиз по реке Гудзон. Не успела экспедиция начаться, как хозяева Джея оттолкнули свою яхту от пирса в Крюгере-на-Гудзоне, недалеко от Кротона, как Гулд начал терять популярность, вслух беспокоясь о том, успеют ли они вернуться вовремя, чтобы он успел на поезд обратно на Манхэттен. В течение всей второй половины дня нервный Гулд отказывался оставить эту тему, неоднократно предлагая своим хозяевам прервать прогулку и вернуться на сушу. В конце концов, по словам Клеуса, который узнал об этом непосредственно от одного из членов команды, старший Крюгер решил, что с него хватит, и решил проучить своего несносного гостя. Выйдя на берег за несколько минут до того, как должен был подойти поезд Гульда, старший Крюгер намеренно оставил шверт опущенным, в результате чего яхта села на мель. Тогда мистер Крюгер сказал Гулду, что ему придется плыть, если он хочет успеть на поезд. Не раздумывая, Гулд быстро разделся до "агрессивно-алого нижнего белья", а молодые женщины Крюгера "спрятали румяна за зонтиками". Затем, держа сухую одежду над головой, Джей решительно поплыл брассом на одной руке к берегу.4
Подобные инциденты свидетельствуют о социально неотесанном молодом человеке, который, хотя и обладал амбициями, еще не избавился от многих привычек, свойственных ему в глубинке. Учитывая его испорченную репутацию после войны в Гулдсборо, не говоря уже о его недавней карьере низкопробного торговца на Уолл-стрит, кажется удивительным, что Гулд смог завязать отношения с одним из цветов общества Мюррей-Хилла. Мисс Хелен Дэй Миллер выросла в роскошном семейном доме на Семнадцатой улице, недалеко от резиденции Джея в Эверетт-Хаус. Мать Хелен, Энн, была потомком двух старейших семей Нью-Йорка - Кипсов и Бейлисов. Ее отец, Дэниел С. Миллер, сам потомок преуспевающих купцов, с 1853 года сосредоточил свои силы на управлении различными инвестициями на Уолл-стрит. Миллер работал в офисе фирмы "Датер и компания", в которой он состоял в партнерстве. В кредитном отчете "Дан и компания" за 1860 год он был охарактеризован как надежный, банковский работник и "более чем обычно нацеленный на зарабатывание денег".5
У нас нет точных сведений о том, как Джей и Хелен, которая была младше его на два с половиной года, впервые встретились. Хотя они жили неподалеку друг от друга, кажется совершенно невозможным, чтобы очень застенчивый Гулд просто завязал разговор с молодой женщиной на улице, как утверждают некоторые биографы. Кроме того, этого просто не было сделано. Скорее всего, Джей имел дело с отцом Хелен, который, сочтя его перспективным молодым человеком, пригласил его домой на ужин. Несмотря на то что Джею не хватало лоска, он обладал качествами, способными заинтересовать и мистера Миллера, и его дочь. Среди них были скромность, честолюбие и ум. Кроме того, Джей был трезвым парнем, обладающим большой личной дисциплиной. Таким образом, он сам представлял собой товар, который, как, несомненно, знал Миллер, оставался в вечном дефиците среди потенциальных миллионеров с улицы.