Пробудившееся народное воображение подхватывало самые странные слухи. Вынужденный отъезд в Байонну был их главным предметом. Говорили, что всех самых славных людей Испании отвезут вслед за королевской семьей в этот город, в котором они сгинут, как в бездне. После монархов и грандов придет черед армии. Ее отведут, полк за полком, в Байонну, а из Байонны на берега Океана, куда уже отвели войска маркиза Ла Романы, на погибель в какой-нибудь далекой войне за величие мирового тирана. Мало того, заберут всё население, устроив всеобщий воинский набор, который поразит Иберийский полуостров, как поразил Францию, и принесут цвет испанской нации в жертву кровожадным планам нового Аттилы. Приводили и самые необыкновенные подробности. Говорили, что в фургонах французской армии привезено огромное количество наручников, дабы увести, сковав по рукам и ногам, несчастных испанских новобранцев. Утверждали, что видели собственными глазами тысячи наручников, сложенные в арсеналах Ферроля, где между тем не появлялось ни одного батальона и ни одного фургона французской армии, но где много трудились, по приказу Наполеона, над восстановлением испанского флота и подготовкой экспедиции для защиты богатой колонии Ла Платы от нападений англичан. К этим слухам присоединялись другие, еще более нелепые. Говорили, что при французском короле всех заставят говорить и писать по-французски, а с королем придут полчища чиновников и расхватают все должности.
Главным и наиболее опасным следствием слухов стало дезертирство почти всей испанской армии из страха угона во Францию. В Мадриде каждую ночь дезертировали по две-три сотни человек. Солдаты уходили без офицеров, а порой и вместе с ними, унося с собой оружие и снаряжение. Гвардейцы Эскориала за несколько дней полностью исчезли. Дезертировали не только в Мадриде, но и в Барселоне, Бургосе и Ла-Корунье. Обычно дезертиры бежали либо на юг, либо в провинции, удаленность и возмущения которых доставляли им верное убежище. Из Барселоны бежали в Тортосу и Валенсию, из Старой Кастилии — в Арагон и Сарагосу, край, считавшийся испанцами непобедимым. Из Ла-Коруньи шли к генералу Таранко, чей войсковой корпус размещался на севере Португалии. Из Новой Кастилии уходили влево к Гвадалахаре, где находили убежище в Сарагосе и Валенсии, или вправо, где надежное пристанище предоставляла Эстремадура.
Привычные к субординации испанские генералы отовсюду рапортовали об этом пугающем дезертирстве, оставлявшем их без всяких средств для поддержания порядка, какой бы государь, в конце концов, не был навязан несчастной Испании.
Только на юге, особенно в Андалусии, войска оставались целыми и едиными. К несчастью для Франции, они были и самыми многочисленными, ибо помимо лагеря Сан-Роке у Гибралтара в девять тысяч человек, включали многочисленный гарнизон Кадиса, а также дивизию генерала Солано, назначавшуюся поначалу для оккупации Португалии, позже вернувшуюся к Мадриду и, наконец, отосланную в Андалусию. Эти войска, вместе с войсками лагеря Сан-Роке, которыми командовал генерал Кастаньос, составляли не менее двадцати пяти тысяч человек и были единственными, не подверженными дезертирству. К ним следует добавить швейцарские войска, издавна состоявшие на службе у Испании. Швейцарские полки полковника Прё (Куртен-Прё) и генерала Рединга (Альт-Рединг) были подведены в Талаверу приказом самого Наполеона, для присоединения к первой дивизии генерала Дюпона, которой надлежало занять Кадис, где находился французский флот. Еще три швейцарских полка были отправлены в Гренаду и располагались в Тор-тосе, Картахене и Малаге, где их также должен был подобрать по дороге Дюпон. Помещая их в среду французского образа мысли, Наполеон надеялся, что они будут служить новой, а не старой монархии. К сожалению, движению, захватившему сердца испанцев, суждено было расстроить все его планы. Испанские военные власти, хоть и не жалели, как просвещенный класс, о конце бессильного и продажного правления, но были также возмущены событиями в Байонне и охотно дезертировали бы вместе с солдатами в недоступные французам провинции. Только имевший на них некоторое влияние Мюрат мог бы удержать их при исполнении долга; но его поразила жестокая лихорадка, он был слаб, изнурен, не выносил разговоров о делах, страдал от одного звука шагов своих офицеров, испытывал отвращение к стране, где ему уже не назначалось править, приписывал ей свой скорый конец, который считал неминуемым, страдальчески призывал жену и детей и требовал немедленного позволения уехать.