За пятнадцать лет работы в Sullivan & Cromwell в межвоенный период Аллен совершил одиннадцать длительных зарубежных поездок. Письма, которые он писал домой Кловер, изобиловали упоминаниями о других женщинах, которые в лучшем случае можно было расценить как бесчувственность, а в худшем - как издевательство. В одном из них он пишет о ночном свидании с "привлекательной (не красивой) ирландско-французской женщиной, которую я повел в "Шехерезаду", где мы пробыли до раннего утра". В другом случае речь идет об "английской девушке... довольно симпатичной. Танцевали и пили шампанское до позднего вечера". Среди других женщин, с которыми он встречался, были "очаровательная вдова", "приятнейшая спутница", "молодая английская девица", "очень восхитительная особа" и "разумная душа, отнюдь не безобразная". После одного атлантического перехода он с гордостью написал Кловеру, что "в целом я держался в стороне от каких-либо связей, и, в частности, на борту не было ни одной дамы, с которой я бы особенно сблизился".
"Мне кажется, что я не заслуживаю такой хорошей жены, какая у меня есть, поскольку я слишком люблю общество других дам", - признавался он в другом письме. Его сестра Элеонора позже писала, что "в Аллена в то или иное время было влюблено не менее сотни женщин, и некоторые из них даже не были с ним близки".
В ответ на это Кловер сосредоточила свое внимание на сыне и двух дочерях. Она также занялась реформой системы исполнения наказаний и часто посещала тюрьмы. Прогуливаясь по улицам бедных кварталов Нью-Йорка, она останавливалась для долгих бесед с нищими и людьми в очереди за хлебом. В письмах к друзьям она говорила, что легкость жизни высшего класса заставляет ее чувствовать себя виноватой и стыдиться. Ее муж, напротив, был неприкаянным элитаристом, который, как известно, никогда не подбирал салфетку, уронив ее за ужином, предпочитая ждать, пока это сделает слуга.
Вскоре после возвращения из Парижа в 1931 г. Аллен начал роман с высокой светловолосой русской эмигранткой, которая появилась в теннисном клубе Колд Спринг Харбор и чей муж был хронически болен. Он не пытался скрывать свои отношения, свободно рассказывая не только друзьям, но и жене и детям о своей новой замечательной "теннисной партнерше". Неприкрытое прелюбодеяние стало устоявшейся чертой его характера. И оставалась таковой всю его жизнь.
"Секс, судя по всему, был для Аллена Даллеса формой физиотерапии, чем-то, что он делал, чтобы поддерживать себя в форме для более важных дел", - предположил один из биографов. "Настойчивое желание Кловер остаться дома с детьми и ее растущая озабоченность правами заключенных рассматривались им как своего рода предательство ее обязанности быть его хорошей и верной спутницей жизни. Если Кловер не путешествовала, когда Аллен просил, то его нельзя было винить, если он отвлекался на других женщин, всегда принадлежавших к его классу и положению".
Почти патологическое бабство Аллена и его явное отсутствие интереса к построению крепких отношений с женой резко контрастировали с бесконечной преданностью Фостера Джанет. При этом братья были поразительно похожи в отношениях со своими детьми. Оба были далекими, некомфортными отцами.
Трое детей Фостера воспитывались нянями, и им не разрешалось вторгаться в мир своих родителей. Старший, Джон Уотсон Фостер Даллес, был угрюмым и замкнутым, по одной из версий, "обидчивым, сверхчувствительным и очень эмоциональным". Когда он проигрывал партию в шашки или нарды, то разражался слезами, что шокировало его всегда стоического отца. Их отношения стали еще более напряженными, когда Джон бросил колледж, так как не мог с энтузиазмом относиться к карьере юриста, которую планировал для него отец. Они так и не смогли найти общий язык, эмоциональный или иной. Джон стал горным инженером и провел большую часть своей жизни в Латинской Америке.
Его младший брат, Эвери, уехал еще дальше - не географически, а духовно. Прогуливаясь однажды по берегу реки Чарльз, будучи студентом Гарварда, Эвери был поражен тем, что он назвал откровением. Вскоре после этого он отказался от пресвитерианских традиций своей семьи и перешел в римский католицизм. Фостер был в апоплексии. Получив известие, он позвонил Артуру Дину, своему ближайшему коллеге по компании Sullivan & Cromwell.
"Он позвонил Дину, - вспоминал впоследствии журналист Маркиз Чайлдс, - и сказал: "Я хочу, чтобы ты отменил все свои встречи. Наступил величайший кризис в моей жизни. Я хочу, чтобы ты прочитал письмо, которое я отправляю Эйвери". А в письме было написано: "Никогда больше не открывайте мою дверь. Never speak to me again. Никогда больше не общайся со мной. Ты больше не мой сын". И затем, согласно рассказу Дина, примерно с четырех часов дня или с 4:30 до 8:30 вечера он обсуждал это с Даллесом и убеждал его не отправлять письмо".