Ворошилов своим приказом низвел дыбенковскую армию до дивизии, а самому Дыбенко приказал именоваться комдивом. Этот приказ взбесил героя Октября. Посудите сами! Какой-то, никому не известный луганский слесарь, шлет приказы тому, кому Советская власть обязана самим фактом своего появления, тому, кто держал в своих руках не только судьбы вождей революции, но и судьбу всей России, тому, кто только что создал собственную республику. И после этого его, как в издевательство, назначают обычным комдивом! Свою неприязнь к выскочке Ворошилову Павел Ефимович пронесет через всю свою оставшуюся жизнь. Заметим, что после устроенного скандала и Ворошилов не будет никогда питать к Дыбенко дружеских чувств.
Тем временем, банды Григорьева, стремясь не вступать в серьезные бои, медленно отходили на юго-запад. П.Е. Дыбенко, не очень разбираясь в реальном военном деле, предусмотрительно оставил за собой лишь общее руководство войсковой группировкой, ведение же реальных боевых действий возложил на опытного и храброго А.Я. Пархоменко. 17 мая в донесении с екатеринославского участка в штаб П.Е. Дыбенко докладывали: «Части противника разбиты, его остатки, не останавливаясь у Пятихатки, удирают на Александровск…»
Но серьезно воевать с Григорьевым не пришлось. История с атаманом закончилась совершенно неожиданно и для Ворошилова, и для Дыбенко. Решив объеденить силы для борьбы с большевиками батька Григорьев поехал на переговоры с батькой Махно. Во время переговоров батьки так и не смогли договориться, кто из них кому подчиняется. Произошла ссора, переросшая в пересрелку. Как выяснилось, Махно стрелял лучше, он и пристрелил Григорьева.
Едва Дыбенко узнал о безвременной кончине мятежного комбрига, он, не спрося разрешения Ворошилова, рванул обратно в Крым. К этому моменту белые уже перешли на Керченском полуострвое в наступление и медленно продвигались на запад. Полки Дыбенко, привыкшие воевать с атаманами, не желали драться с настоящим противником и откатывались без особого сопротивления. Всюду царил беспорядок и анархия, грабежи и бандитизм. Дыбенко с надеждой ждал помощи Москвы. Но Ленин молчал. Зато пришла телеграмма от наркома здравоохранения Н.А. Семашко, в которой тот ставил Дыбенко задачу немедленно превратить Крым в советскую здравницу, для чего охранять все имеющиеся там дворцы. Но Дыбенко было уже не до дворцов. Армия Деникина провала фронта на Донбассе и частью сил двигались на Перекоп и Чонгар. Дыбенко направил к Махно несколько политработников, чтобы договориться о совместных действиях, но мятежный батька прибывших комиссаров расстрелял. Кроме этого Махно снял свои полки с линии Мариуполь-Волноваха и отвел их к Гуляй-Полю на переформирование в 7-ю Украинскую советскую дивизию. В образовавшуюся брешь сразу же кинулась “дикая” дивизия генерала Шкуро. Посланный остановить казаков Федько, с задачей не справился. Шкуро быстро продвигался вперед.
Было очевидно, что Крымской республики Дыбенко пришел конец. 16 июня 1919 года Павел Ефимович собрал экстренное совещание руководства, на котором уже не обсуждали вопросов обороны Крыма, а говорили лишь о том, как быстрее эвакуироваться. Пока совещались и собирались, у Судака и Коктебеля высадился белый десант генерала Слащева, а казаки Шкуро прорвались к Мелитополю. После этого началось повальное бегство и дезертирство. Сам Дыбенко и ближайшие к нему лица прорывались из Крыма на Херсон в сопровождении бронепоездов. Остальные, кто как сумел. 26 июня 1919 года Крым полностью перешел в руки Деникина. При этом отряды Дыбенко, даже не пытаясь зацепиться в северной Таврии, а сразу откатились за Днепр. Из-за повального дезертирства они сократились более чем вдвое. Оставшиеся были настолько деморализованы, что сдали белым Херсон, бежав от трех казачьих сотен. Вчерашний диктатор потерял все, и Крым, и армию. Когда же Дыбенко немного пришел в себя, то первым делом объявил остатки своего воинства особой Крымской армией, а себя самолично наделил правами командарма.