Обе стороны упорно пытались двигаться вперед как единое целое. В июле 1984 года банк начал выпускать новое издание, The Globe, направленное на формирование чувства общности в объединенной организации. В нем было опубликовано совместное письмо Эдмонда и Боба Смита, а также статья о Жаке Тавиле, "трейдере трейдеров". В Женеве и Нью-Йорке Эдмонд и Лили продолжали общаться с Робинсонами и Вейлсами. Но к концу того же года стало ясно, что восстанавливать отношения осталось недолго. Линда Робинсон, жена Джима и влиятельный руководитель отдела по связям с общественностью, попыталась сгладить ситуацию. "Вы несчастны, - сказала она Эдмонду, демонстрируя понимание.
"Я не только несчастлив, Линда, - ответил Эдмонд, - я испытываю отвращение. Я построил банк на цементе и стали. Но с тобой я чувствую, что сижу на зыбучих песках".
Руководители American Express не могли не заметить, что Эдмонд занимался своими собственными интересами, включая Republic, Safra Bank во Флориде и BCN. К концу 1983 года в Бейруте стало достаточно спокойно, чтобы BCN впервые за три года провела заседание совета директоров. В новом офисе на улице Риад-эль-Сольх адвокат Анис Даук сообщил Эдмону, что совет директоров собрался в декабре 1983 года, чтобы утвердить счета за 1980, 1981 и 1982 годы. Несмотря на практически невыносимые условия работы, банк, чей годовой доход составлял около 600 000 долларов, сумел показать убыток всего в 750 000 ливанских фунтов (около 90 000 долларов). BCN также продолжал выступать в качестве представителя Republic в Ливане, за что получал ежегодное вознаграждение в размере 30 000 долларов. В начале 1984 года были введены новые правила и процедуры, предписывающие, например, что открытие сейфа должно быть поручено совместно двум сотрудникам, "или, если состояние небезопасности, постоянно существующее в Бейруте, не позволяет, когда присутствует один или другой".
В мае 1984 года, в разгар своих споров с American Express, Эдмонд открыл еще один новый банк. По примеру своего предыдущего шага во Флориде Эдмонд создал Safrabank California, новый коммерческий банк с полным спектром услуг, зафрахтованный в Калифорнии, после приобретения физических активов недавно ликвидированного West Coast Bank. Капитализированный на 6,3 миллиона долларов, он имел офисы в Беверли-Хиллз и Энсино.
Убедившись в бесперспективности отношений с American Express, Эдмонд начал переговоры о выкупе TDB, и казалось, что обе стороны близки к соглашению. Эдмонд предложил 450 миллионов долларов (на 100 миллионов долларов меньше цены покупки 1983 года) с оговоркой, что American Express сохранит за собой латиноамериканские кредиты TDB. American Express предложила 500 миллионов долларов. Пока переговоры продолжались, Боб Смит из American Express в конце концов убедил Робинсона сохранить банк. Было очевидно, что American Express с большим подозрением относилась к мотивам Эдмонда. В ходе бесед руководители и юристы American Express неоднократно выражали опасения, что Эдмонд откроет свой собственный банк и нарушит заключенные ими соглашения о неконкуренции. Кен Бялкин, юрист, представлявший интересы American Express и являвшийся также ведущей фигурой в американской еврейской общине, в какой-то момент сказал Эдмонду, что если он не будет соблюдать соглашение о неконкуренции, American Express может обратиться в Налоговую службу и поднять вопросы о его налоговой ситуации.
В конце концов, 22 октября 1984 года сделка была достигнута. Эдмонду было разрешено уйти с поста председателя и генерального директора American Express International Banking Corporation. American Express продаст ему здание в Женеве (2 Place du Lac), TDB France и банкнотный бизнес TDB в Лондоне. (Французские власти в любом случае отказались разрешить American Express управлять там банком, а Amex просто не был заинтересован в банкнотном бизнесе). Эдмон и Джозеф Сафра согласились не конкурировать с Amex до 1988 года.
Расставание было вынужденным и не отличалось особой теплотой. "С огромным сожалением я прекращаю свое непосредственное участие в управлении AEIBC", - написал Эдмонд. "Я также хочу выразить свое глубочайшее восхищение моим хорошим другом Джимом Робинсоном и пожелать Бобу Смиту и Альберту Бенезре дальнейших успехов". Со своей стороны, American Express, похоже, не огорчилась уходу Сафры. "У Эдмонда есть квартиры в Женеве, Париже, Лондоне и Нью-Йорке, а также два брата в Бразилии, где он проводит некоторое время", - сказал Боб Смит. "Он предпочитает, чтобы на нем было меньше повседневной ответственности, чтобы он мог уделять время другим интересам и личным делам", - сказал Робинсон. Они признали, что им не хватает химии. "Но попробовать стоило", - сказал Робинсон изданию Wall Street Journal.