В марте все советские отряды, действовавшие на фронте от Бахмача до Черного моря, были сведены в пять армий. В районе Бахмач — Конотоп развертывалась 5-я армия; в районе станций Гребенки — Лубны — Ромодан для прикрытия полтавского направления была создана 4-я армия; в юго-западной части Украины, на одесском направлении, формировались 1-я и 3-я армии; в районе Глухова — 2-я армия. Армиями все эти формирования были только по названию. Объединяя самые разнообразные по организации и численности отряды, они являлись скорее группами отрядов. Численность их была невелика.
Так, 5-я армия насчитывала 3000 штыков, 4-я — 3200, 1-я и 3-я армии вместе — до 6000 штыков. Впоследствии все они были переформированы. В составе этих армий стойко дрались с оккупантами, оказывая им упорное сопротивление, рабочие отряды Р. Ф. Сиверса, конники Г. И. Котовского, червонные казаки В. М. Примакова и многие другие отряды.
После падения Киева наиболее ожесточенные бои с немецкими оккупантами в марте и первой половине апреля 1918 года развернулись в районах станции Бахмач (на железнодорожной линии Киев — Брянск) и станции Гребенки (на линии Киев — Полтава — Харьков). Численно превосходящие немецкие войска, продвигаясь из Зенькова, форсировали реку Ворсклу севернее Полтавы и, проникнув в тыл, вынудили советские войска оставить 29 марта Полтаву. 4-я армия отошла на Лозовую и Харьков.
В начале апреля завязалась борьба на подступах к Харькову. Немцы намеревались охватить Харьков с северо-запада и юго-запада, причем главный удар они наносили с северо-запада, от Ахтырки и Сум. Город защищали войска 5-й армии,часть сил 4-й армии и отряды харьковских рабочих. Для обороны ахтырского направления был послан отряд в 600 человек с 6-ю орудиями под командованием В. И. Киквидзе. Ему же были подчинены части, отходившие из Ахтырско-Лебединского района. Заняв Богодухов, отряд Киквидзе 2 апреля перешел в наступление на Ахтырку. Несмотря на численное превосходство противника, советские части вынудили его отступить. Но оккупанты, подтянув крупные подкрепления, обошли правый фланг советского отряда в направлении станции Пересечная.
В связи с угрозой быть отрезанным от Харькова отряд Киквидзе отошел к Богодухову. Воспользовавшись этим, немецкие войска начали развивать наступление на Харьков с запада и вдоль железной дороги Константиноград (Красноград) — Харьков, в стык между отрядом Киквидзе и войсками 4-й армии.
Вскоре бои развернулись на ближних подступах к Харькову. На оборону города были брошены все силы. Отряд харьковских рабочих под командованием Н. А. Руднева героически отражал атаки врага с севера, на Холодной Горе. Луганский отряд К. Е. Ворошилова и харьковский коммунистический отряд защищали Харьков с юго-запада, у станции Основа. Павлоградский отряд был подтянут к станции Мерефа для прикрытия Харькова с юга.
В ночь на 8 апреля немецкие войска превосходящими силами глубоко вклинились в расположение советских отрядов и начали обстреливать линию железной дороги между Люботином и Харьковом. Советским отрядам, занимавшим люботинский участок, пришлось с боями прорываться на запад. Луганский отряд после ожесточенной схватки на станции Основа пробился на Чугуев, откуда был направлен в Луганск для переформирования. Части 4-й армии вынуждены были отойти на Змиев и Купянск. 8 апреля оккупанты ворвались в Харьков.
К началу апреля тяжелая обстановка для советских войск сложилась и на юге Украины. Действовавшие здесь 1-я, 2-я и 3-я армии обороняли широкий фронт от Жмеринки до Одессы.
Против них, кроме немецких и австрийских войск, действовали румынские части и белогвардейские отряды полковника Дроздовского, которые двигались с Румынского фронта на Дон.
Под напором превосходящих сил врага часть отрядов 1-й и 3-й армий переправилась на пароходах в Крым, а главные силы отошли к Криворожью. Но прочно закрепиться на подступах к Криворожью не удалось. После тяжелых боев советские войска вынуждены были отойти за Днепр. 3-я армия заняла позиции к западу от Константинограда и в районе Екатеринослава. 1-я армия сражалась на фронте Никополь — станция Долгинцево. Советские части проявляли большой героизм. Командование 3-й армии, сообщая о боях в районе Синельниково — Славянск, отмечало, что пехота дралась по пояс в воде и доблестно штурмовала неприятельские позиции.
Желая спасти свой левый фланг, почти целиком погиб славный андреевский батальон имени Ленина и тем самым спас свою армию от полного окружения.
Сильное сопротивление нашествию немецких войск оказали трудящиеся Донецко-Криворожской республики, которая была провозглашена 12 февраля 1918 года на IV областном съезде Советов в Харькове. Председателем Совнаркома Донецко-Криворожской республики был избран Артем (Ф. А. Сергеев).