Время от времени Веллингтон заходил внутрь квадратов; когда кавалерия отступала, чтобы перестроиться, он появлялся и смотрел, какой ущерб был нанесен, и приводил резервы, чтобы заполнить бреши. Противник наступал вновь и вновь, а квадраты сокращались, и солдаты в них все больше уставали. Однако потери больше наносились не кавалерией, а французскими стрелками, которые представляли собой огромную силу и поливали огнем квадраты, как только отступали всадники. В это время дезертировала нидерландская кавалерий-ская бригада Трипа, и гусары Камберленда - ганноверский полк, неподготовленный и с ненадежными командирами - также покинули поле и поскакали обратно в Брюссель, сея панику всюду на своем пути. Но квадраты пехоты не дрогнули. Даже юные брауншвейгцы удержали свои позиции до конца. (Французы утверждали, что сломили несколько квадратов и захватили два знамени, но это, очевидно, не так.)
Плотное скопление французской кавалерии необыкновенно смешалось. Их было слишком много для этого поля. Они приходили из долины столь плотными рядами, что не могли двигаться, и постоянно блокировали атаки друг друга. Генерал Леритье повел своих кирасиров в тыл второй линии и попал под огонь резервной батареи Веллингтона. Целый французкий полк двинулся налево, прошел по дороге на Нивелль, затем отошел к Брен-л'Аллё, позади позиций Митчелла, вновь прошел мимо Угумона, спустился в долину и перестроился. Но такие набеги ничего им не дали.
Атаки стали менее быстрыми и энергичными. В клубах серного дыма стало невыносимо жарко. Большинство французских генералов были ранены. Маршал Ней, под которым убило лошадь, передвигался пешком. Великая атака не удавалась, становилась бессистемной. Тогда герцог Веллингтон вышел из квадрата своего 73-го полка и приказал кавалерии вступить в бой. Английские эскадроны вскоре атаковали огромную группу французских всадников и смогли оттеснить их, сломленных и побежденных, в долину.
Даже тогда маршал Ней не намерен был сдаваться. Заметив карабинеров Бланкара, остававшихся в резерве у Келлермана, он раздобыл лошадь и поехал прямо к ним. Генерал Бланкар изо всех сил пытался спасти маленький резерв, но Ней настоял на том, что поведет его во главе новой атаки. Успех был недостижим. Карабинеры добрались до некоторых из квадратов, но были задержаны непроходимыми барьерами из тел павших, и вскоре их оттеснил Грант, который вернулся на исходные позиции, обнаружив, что передвижения Пире были простой демонстрацией. И снова французы отважно, но устало возобновили атаку. Лошади больше не могли двигаться вперед; накануне ночью их бросили неухоженными, и хуже всего пришлось тем, которые провели ее под дождем, нагруженные своими седоками. В тыл непрерывным потоком шли безлошадные ныне солдаты; затем лошади начали отступать вместе с седоками, и вскоре все они дрогнули, повернули вспять, обескураженные и сломленные, и поехали к центру долины, скорее преследуемые на расстоянии, чем оттесненные английской кавалерией, которая устала не меньше.
На правом фланге французов корпус Бюлова смог оттеснить бригаду, размещенную Лобау в Планшенуа; захватив деревню, они открыли огонь по подразделению Лобау, и выпущенное ими ядро, достигнув дороги на Шарлеруа, упало позади Наполеона. Столкнувшись с опасностью того, что пути к отступлению могут быть для него отрезаны, Наполеон послал Дюэма вместе с Молодой гвардией и двадцатью четырьмя пушками вновь взять деревню. Кавалерия Дюрютта, находясь в районе Папелотта и Ла-Э, была вынуждена развернуться и встретить пруссаков.
Принужденный отступить со своими солдатами, которые не могли больше предпринимать дальнейших попыток к наступлению, Ней бросил на линию обороны англичан шесть полков пехоты из корпуса Рейля, поддержав их теми небольшими остатками кавалерии, которые смог собрать вместе. Но силы были неравны; английские артиллеристы открыли огонь, и через несколько секунд около 1500 человек было убито; нападение остальных было отбито бригадами Дюпла и Халкетта. Кавалерия не смогла дойти даже до английских батарей и вскоре спустилась с холма в долину.
Ней потерял треть своих солдат и лошадей, погибли многие офицеры командования. Потери со стороны Веллингтона были не менее серьезными; хотя герцог не был ранен, многие из офицеров его штаба погибли. Тяжелая кавалерия обеих сторон была чересчур измождена, чтобы продолжать бой.