Он говорил о кругосветном путешествии, отчасти для того, чтобы избежать постоянных инсинуаций и спекуляций прессы. Когда дела не позволяли ему уехать, его неоднократные благонамеренные обещания скорого отплытия становились чем-то вроде шутки в "Таймс" и других газетах. В ближайшем будущем "Аталанта", способная пересечь любой океан мира, ходила только до Ньюпорта, Род-Айленд, и прибрежных районов Вирджинии. Повседневно Джей использовал яхту для поездок между Линдхерстом и Манхэттеном в сезон. Он также предпринял полусерьезную попытку присоединиться к яхтенному сообществу. Когда его низкое происхождение и низкая репутация не позволили ему войти в престижный Нью-Йоркский яхт-клуб, он основал собственную организацию. Американский яхт-клуб работал в здании клуба в Мидтауне до 1887 года, после чего Джей с несколькими компаньонами приобрел двенадцать акров на оконечности Милтон-Пойнт на Лонг-Айленд-Саунд в Райе, штат Нью-Йорк, где клуб находится и по сей день.
Думал ли Гулд об уходе на пенсию, потому что считал, что это сулит ему долгожданную безвестность? Комментарии друзьям и семье, кажется, намекают на этот мотив. Но выход на пенсию оставался неуловимым. В начале 1884 года - в тот самый год, когда публичная поддержка Гулдом кандидата в президенты от республиканцев Джеймса Блейна потерпела фиаско после аляповатого собрания плутократов, поддерживавших Блейна, в Нью-Йорке - мало кто принял за чистую монету его категоричное заявление о том, что он скоро навсегда покинет Уолл-стрит. Эксперты указывали на особое партнерство Гулда в Washington Connor & Company, брокерской конторе, возглавляемой давним другом Джея "Уошем" Коннором, который когда-то играл роль в старой компании William Belden & Company. Концерн Коннора занимался большим количеством семейных дел Гулдов. Еще одним особым партнером был Морозини. Здесь с января 1883 года работал старший сын Джея, Джордж. Договор Гулда с Коннором должен был истечь в конце 1884 года, но, как отмечали журналисты, Джей решил продлить его. С практической точки зрения, сколько бы партнерств он ни расторгал и сколько бы ни думал о расторжении, уход с Уолл-стрит был невозможен. Империя, которую он построил, была слишком огромной, а его дела - слишком сложными, чтобы позволить уйти. Всегда оставались позиции, которые нужно было защищать, капитал, который нужно было привлекать, и ставки, которые нужно было покрывать. Это была тюрьма, которую Гулд построил для себя. Он контролировал слишком большой кусок американской экономики, чтобы игнорировать его или, в конце концов, делегировать, хотя он и пытался это сделать. В день рождения Джорджа в 1885 году Джей передал двадцатиоднолетнему молодому человеку доверенность, комбинации для всех своих личных сейфов и ключи от депозитных хранилищ. Два года спустя он сделал то же самое с Эдвином, который бросил Колумбийский университет, чтобы прийти в семейный бизнес. Привилегии Эдвина сопровождались лишь одной оговоркой: боссом был Джордж. Со временем мальчики заняли посты в многочисленных советах директоров Gould.
К 1881 году Гулд, который всегда вел наступательные действия, атакуя, захватывая и манипулируя корпорациями, достиг плато, с которого оставалось вести только хорошую оборону. Хотя он все еще иногда стремился расширить свои операции, особенно железные дороги на Юго-Западе, отныне большую часть своих дней он, подобно Вандербильту, проводил на страже против начинающих претендентов на его франшизы. Самое крупное сокращение произошло в 1884 году, на фоне медвежьего рынка, который привел к депрессии. Именно в это время Чарльз Фрэнсис Адамс, председатель правительственных директоров Union Pacific, успешно подорвал господство Гулда в UP и стал президентом , сменив Сидни Диллона. Абрам Гулд покинул ЮП вместе с Диллоном и Сайласом Кларком и возглавил отдел закупок компании "Миссури Пасифик" - работа, которой он будет заниматься до конца своих дней. Он также входил в советы директоров нескольких западных дорог Джея. Кларк в конце концов тоже присоединился к Missouri Pacific, а Диллон занялся различными делами, как связанными с Гулдом, так и нет.
Во время рыночного спада 1884 года Гулд временно потерял контроль над двумя другими дорогами: Wabash и Texas & Pacific. Но, в отличие от испытывавшей нехватку денег и зарегулированной UP, эти дороги Гулд срочно реорганизовал и вернул в свое лоно, где они продолжили работу в качестве фидеров для его Missouri Pacific. В то же время на телеграфном фронте Гулд столкнулся с целым рядом потенциальных конкурентов, таких как Mutual Union, Bankers & Merchants, American Rapid и Postal. Некоторых из них он прихлопнул как мух. Других он взял в аренду или взял под свой контроль. Но все чаще его господство подвергалось испытаниям. Даже в Нью-Йорке, где в поле его зрения находились прибыльные надземные железные дороги, ему приходилось быть начеку.