Настало время удвоить усилия, вывести резерв на помощь дивизиям Лаписа и Себастиани и наконец бросить обе бригады Виллата в атаку на холм, обойденный Руффеном. Всё позволяло надеяться на победу. Под огнем французских батарей англичане, казалось, уступали: их артиллерия была уничтожена, а огонь почти смолк. Одновременная энергичная атака должна была сломить свойственную англичанам стойкость. Но Жозеф, видя, что день клонится к вечеру, а победа еще под сомнением, решил приостановить бой и возобновить его на следующий день. Безусловно, повода падать духом не было, ибо французы должны были одолеть противника. Но не обладавший ни военными навыками, ни выдержкой в сражении Жозеф приказал отменить атаку. Было почти пять часов, и в июле можно было рассчитывать еще на многие светлые часы для окончания сражения. Тотчас примчался Виктор и выказал уверенность в победе, если продвинувшийся по ложбине Руффен атакует англичан с тыла, в
то время как Виллат атакует их с фронта. Он указал на видимые колебания неприятеля и все основания продолжать беспощадно атаковать его, противопоставив генералу Уэлсли упорство, равное его собственному.Тронутый его доводами Жозеф готов был уже уступить, когда несколько офицеров доложили ему, что какие-то испанские подразделения приближаются к Альбер-че, а другие, поспешно прибывшие из Толедо, доставили тревожное известие о появлении Венегаса перед Аранху-эсом и Мадридом. Неуверенность Жозефа не выдержала двойного воздействия этих донесений, и он испугался перспективы попасть в окружение. Укрепленный в своих опасениях Журданом, осуждавшим сражение, Жозеф приказал Виктору отступать и указать точную минуту отступления Себастиани, чтобы произвести отступление одновременно.
Не решившись ослушаться, Виктор сообщил Себастиани, что начнет отступление в полночь, но повторил настойчивую просьбу Жозефу продолжить сражение на следующий день. Жозеф провел часть ночи в жестоких сомнениях. Разрываясь между страхом попасть в окружение в случае сражения и страхом быть обвиненным Наполеоном в слабости, если прикажет отступать, он вдруг узнал, что армия уже оставляет позиции, и был выведен из сомнений самим ходом событий, которыми уже не управлял. В самом деле, Себастиани, получив указание Виктора, сделал вывод, что должен отступать, и действительно отступил. Виктор, со своей стороны, хоть и желал остаться на позиции, чтобы возобновить сражение назавтра, увидев отступление Себастиани, в конце концов также отступил, и на рассвете 29 июля вся армия уже отходила за Альберче. Французов никто не преследовал, и они в порядке отошли за реку, забрав с собой всех раненых, обозы и всю артиллерию, за исключением восьми орудий дивизии Леваля, оставшихся в оливковой роще. Англичане, весьма довольные тем, что избавились от французов, поостереглись гнаться за ними. Они потеряли убитыми и ранеными нескольких генералов и 8 тысяч человек, в том числе 5 тысяч испанцев. Подобное опустошение в их рядах произвела французская артиллерия. Потери французов были ничуть не меньшими: около 6 тысяч ранеными и тысячу убитыми. Погиб генерал Л апис, офицер, достойный величайшего сожаления. Многие генералы и полковники были убиты или ранены.
Сражение в Талавере стало одним из важнейших в Испанской войне и одним из самых поучительных, ибо давало полную картину того, что происходило в стране, где героические солдаты теряли плоды своего героизма за отсутствием руководства. Конечно, наделенный природным здравомыслием король Жозеф и опытный маршал Журдан действовали бы гораздо лучше, если бы не оказались между неповинующимися им генералами и чрезмерно удаленной властью Наполеона, между нарушающим все их планы неповиновением и волей императора, которая парализовала их, не направляя.
Жозеф, хотевший вернуться к Мадриду из опасения угрозы столице, выдвинулся на Санта-Олалью, надо признать, без всякой поспешности побежденного, ибо таковым не являлся, а напротив, с медлительностью грозного врага, которого вынуждает удалиться расчет, а не поражение. Его солдаты обладали гордостью, соотносившейся с их храбростью, и только и мечтали вновь поме-ряться силами с англичанами. Но поведение последних свидетельствовало, что они не станут преследовать врага, к тому же вскоре они должны были оказаться в тяжелом положении в результате прибытия Сульта в их тылы. Тем не менее Жозеф оставил на Альберче Виктора для наблюдения за англичанами и участия в событиях, ожидавшихся после появления Сульта. Затем, дабы остановить генерала Венегаса и прикрыть Мадрид, он двинулся на Толедо и Аранхуэс с корпусом Себастиани и резервом, которых, несмотря на потери, было более чем достаточно, чтобы противостоять армии Ла-Манчи, которую уже разбивал наголову и один генерал Себастиани.