Каким-то образом Джеймс Дафф ухитрялся, оставаясь всю войну в Кадисе, посылать время от времени письма, даже в то время, когда британский флот перехватывал идущие в Кадис суда с сокровищами, захватил остров Тринидад и одержал победу над испанским флотом в крупном морском сражении у мыса Сан-Винсент. Кадис ужасно пострадал за это время: постоянная блокада порта британцами уничтожила его заморскую торговлю. За пять военных лет британцы захватили товаров стоимостью, равной годичному бизнесу Кадиса в мирное время. Невзгоды прекратились с завершением боевых действий в 1801 году. Дафф и его испанские друзья радовались резкому возрождению благосостояния. Но мир продлился недолго. Новая англо-французская война, объявленная 18 мая 1803 года, угрожала еще большими потерями.
Наполеон принудил короля Карлоса IV подписать договор, который обязывал Испанию сражаться на стороне Франции. Отчаянно пытаясь избежать еще одного конфликта с Британией, Испания стремилась остаться нейтральной. В качестве альтернативы присоединению к войне Мадрид втайне предложил правительству Наполеона значительную субсидию; начались долгие мучительные переговоры.
Вице-адмирал Горацио Нельсон, поставленный во главе средиземноморского флота, очень хотел раскрыть истинные намерения Испании и поэтому возобновил старые связи с Джеймсом Даффом. Адмирал напомнил консулу, чья деловая репутация зависела от освященного временем доверия, что "в следующем январе исполнится двадцать семь лет со дня нашего знакомства". Нельсон впервые посетил Кадис в 1777 году, где, будучи 18-летним исполняющим обязанности лейтенанта, завязал контакты с виноторговцем. Он попросил Даффа составить доклад о военно-морских приготовлениях Испании. Но докладывать было особо нечего: испанцы искренне пытались остаться нейтральными и их корабли оставались разоруженными. Летом 1803 года Дафф подтвердил, что "в их арсеналах ничего не происходит; они распустили команды, и тем позволено было разойтись по домам". Они не прикладывали никаких усилий снабдить корабли и "вообще в арсенале была тотальная нехватка строевого леса, а имеющийся был из испанской сосны; да и в других отношениях снабжение было скудным". Дафф передал добрые пожелания адмирала своим друзьям среди испанских офицеров Кадиса, стремясь поддержать их дружеские чувства (к Англии). В октябре 1803 года он писал: "Я твердо уверен, что нейтралитет Испании обеспечен полностью".
Нельсон был убежден. Он писал одному из своих офицеров: "Я придерживаюсь мнения, что Испания не имеет ни малейшего желания вступать в войну с Англией, и также не думаю, что Англия непременно хочет воевать с Испанией". Но многих британских морских офицеров привлекала идея войны с Испанией из-за возможной частной выгоды, которую она могла принести; в течение года один из них сумел создать кризис. В сентябре 1804 года испанцы посадили войска на корабли в Эль-Ферроле для подавления восстания в труднодоступной Стране басков. Александр Кокрейн, командир британского отряда кораблей, наблюдавшего за Эль-Ферролем, доложил в Лондон, что, по его мнению, восстание басков было только предлогом для вооружения кораблей, "слишком неубедительным, чтобы принять его". Кокрейн был неправ: после его демарша испанцы немедленно вернули войска в казармы. Но на основе его ошибочного вывода Адмиралтейство послало приказ задержать четыре испанских фрегата, везущих серебро из Южной Америки в Кадис.
Адмиралы Уильям Корнуоллис (блокадная эскадра у Бреста) и Нельсон (Средиземноморская эскадра) получили приказы выделить по два фрегата для выполнения этой задачи. Нельсон отчетливо представлял, какова будет реакция испанских капитанов на подобное требование. Он осознавал, что единственным способом избежать кровопролития была бы посылка настолько превосходящих сил, чтобы испанские фрегаты могли сдаться без ущерба для своей чести. В соответствии с этим он отрядил на это дело весьма способного командира линейного корабля «Донегал» кэптена сэра Ричарда Стрекана с четырьмя фрегатами. Распоряжения Нельсона, однако, поступили к тому неделей позже, когда столкновение уже произошло.
Два фрегата из метрополии соединились с двумя, уже несущими службу у Кадиса. Испанцы появились неожиданно рано утром 5 октября 1804 года. Результатом была кровавая баня. Испанские фрегаты были переполнены семьями, женами и пожитками дипломатов и морских офицеров, возвращавшихся домой из Монтевидео, и ни в каком отношении не были готовы сражаться. Но, столкнувшись лицом к лицу с равным количеством вражеских фрегатов, испанский командир отказался от сдачи и попытался прорваться в Кадис. Британцы атаковали с воодушевлением, подогреваемым невероятной суммой призовых денег на кону. Испанский фрегат «Мерседес» загорелся и взорвался. Капитан, его жена и семеро детей, а также еще девятнадцать испанок с детьми погибли. На глазах одного из офицеров, Диего Альвеара, находившегося со своим старшим сыном на другом фрегате, погибли жена и остальные дети. Часть женщин и детей погибли под британским огнем.