В начале ноября Будённый, к двум своим кавдивизиям получивший в усиление ещё 11-ю, взял Воронеж и оттеснил Шкуро к Касторной. Захват этой важной станции вбивал клин между Добровольческой и Донской армиями. Теперь уже красные в полной мере разыгрывали «конную карту» при полном перевесе в численности кавалерии. С севера напирала 13-я армия, начальником штаба которой был старый знакомый Деникина генерал Зайончковский.
Правый фланг Мая также начал отход на юг. Были сданы Курск, Севск, Ливны. Деникину срочно требовалось что-то противопоставить мобильным подразделениям красных. Но конница Мая была по большей части задействована в преследовании Махно (и защите Ставки в Таганроге), ещё часть кавалерии была задействована в ликвидации «кубанского действа». Остальные находились в ведении Кавказского фронта. Врангель сам предлагал перебросить часть кубанцев на запад, образовав отдельную конную армию. Само собой, с собой во главе. Но как всегда, ставил непременное условие – убрать спившегося Май-Маевского. Сам он скромно вспоминал: «Безобразная пьяная жизнь командующего Добровольческой армии, распущенность войск, разврат и самоуправство в тылу не были уже секретом ни для кого. Все ясно сознавали, что так дальше продолжаться не может, что мы быстрыми шагами идём к гибели. Многие из ближайших помощников Главнокомандующего и ряд общественных деятелей указывали генералу Деникину на необходимость замены генерала Май-Маевского другим лицом, с должным авторитетом в глазах армии и общества. Каждый хотел верить, что дело в твёрдых и умелых руках еще поправимо. В поисках преемника генерала Май-Маевского остановились на мне. Меня всячески выдвигали. В эти тревожные дни это было злобой дня. Стоило мне приехать в какое-либо учреждение, как сбегались все служащие, толпа собиралась вокруг моего автомобиля. На почтово-телеграфной станции, куда я приехал для переговоров по аппарату с Царицыном, чиновники и телеграфисты сделали мне целую овацию – кричали „ура“ и аплодировали».
Действительно, харьковский триумф и последовавшие за ним торжества, балы, попойки до утра совершенно выбили из колеи талантливого генерала, который пустился во все тяжкие, заведя себя в «Гранд-отеле» официальную пассию – Анну Жмудскую.
Деникин писал: «После Харькова до меня доходили слухи о странном поведении Май-Маевского, и мне два-три раза приходилось делать ему серьезные внушения. Но теперь только, после его отставки, открылось для меня многое: со всех сторон, от гражданского сыска, от случайных свидетелей, посыпались доклады, рассказы о том, как этот храбрейший солдат и несчастный человек, страдавший недугом запоя, боровшийся, но не поборовший его, ронял престиж власти и выпускал из рук вожжи управления. Рассказы, которые повергли меня в глубокое смущение и скорбь».
Делать было нечего, популярного генерала пришлось отправлять в отставку. А тем временем в 1-м корпусе Кутепова после падения Орла и Курска оставалось 3–4 тысячи штыков. Его теснили со всех сторон, а конницы у Добрармии так и не появилось.
Деникин понимал, что на поклон придётся идти к своему главному критику барону Врангелю.