31 мая поляки начали большое контрнаступление. Правый фланг 53-й стрелковой дивизии был атакован ими у местечка Козяны. После упорного боя поляки захватили Козяны. Для восстановления положения в дело была введена 157-я бригада 53-й стрелковой дивизии, которая к вечеру того же дня подошла к Козянам на 1 км, но была отброшена сильной контратакой поляков и отошла на село Григоровщина. Здесь бригада была усилена еще одним полком 53-й стрелковой дивизии и подошедшим 154-м стрелковым полком 18-й стрелковой дивизии, направлявшимся на Козяны для смены частей правого фланга 53-й стрелковой дивизии, и тогда смогла остановить наступление поляков.
1 июня поляки продолжали развивать наступление как на участке правого фланга XV армии, так и на ее левом фланге. Введя в дело значительные силы пехоты, при поддержке артиллерии, поляки почти на целый переход оттеснили к северу Южную группу XV армии, которая к вечеру 1 мая заняла рубеж река Двиноса — Шипы — Нивки. На участке 53-й стрелковой дивизии наступающие польские части местами добились выигрыша пространства, но в целом дивизии удалось сохранить свои позиции.
В ночь с 1 на 2 июня у села Озерявы правофланговый полк 53-й стрелковой дивизии сменился 154-м стрелковым полком 18-й стрелковой дивизии. Едва лишь закончилась эта смена, поляки, введя в дело тяжелую и легкую артиллерию, атаковали расположение 53-й стрелковой дивизии, причем наиболее сильные удары были направлены по большаку Козяны — Шарковщизна и вдоль железной дороги Поставы — Глубокое. Измотанные предшествовавшими боями части 53-й стрелковой дивизии, будучи не в силах оказывать длительное сопротивление наступавшим польским частям, разбились на три группы и двинулись на восток, при этом правофланговая группа перемешалась с частями 18-й стрелковой дивизии. Так был открыт широкий коридор для вторжения польских частей.
4 июня советские войска впервые на Польском фронте применили танки. В конце мая 1920 г. из Москвы на Западный фронт был отправлен 2-й танковый отряд в составе трех танков Мк-А «Уиппет».
Рано утром 4 июня колонна польской пехоты с артиллерией неожиданно вышла в тыл частей 30-й бригады 10-й стрелковой дивизии XVI армии у деревни Столпище. Находившиеся в деревне броневики 7-го и 35-го бронеотрядов (всего пять машин) попытались прикрыть отход своих частей и вступили в бой с поляками. Однако из-за неразберихи и плохого состояния дорог атака броневиков была неудачной: две машины поляки подбили артогнем, а один броневик опрокинулся при маневрировании. (Все эти три машины потом достались полякам.)
Танк Мк-А № 332 «Стенька Разин» из состава 1-го танкового отряда Красной армии, находившийся при штабе 30-й бригады, был выдвинут для поддержки броневиков. Не доезжая полутора верст до деревни Столпище, он вступил в бой. Польские батареи немедленно открыли по нему огонь. Осколками бомбы, сброшенной с польского аэроплана, у «Стеньки Разина» повредило левый мотор, машина встала. Экипаж, сняв замки с пулеметов, покинул танк, после чего несколькими снарядными попаданиями машина была разбита. Впоследствии этот танк был разобран красными и по частям перевезен в Москву.
XV армия и части Северной группы (18-я стрелковая дивизия) начали отход на восток. При этом на новый участок не всегда удавалось эвакуировать тылы. Так, на станции Парафианово пришлось уничтожить склад боеприпасов. О том, что отход армии совершался после того, как ею были использованы все средства сопротивления, красноречиво свидетельствуют сведения по личному составу полков 53-й стрелковой дивизии: 469-й стрелковый полк (50 штыков), 470-й полк (100 штыков), 471-й стрелковый полк (250 штыков), 472-й стрелковый полк (180 штыков) и т. д.
6 июня 10-я пехотная дивизия и 7-я резервная бригада поляков стремительно атаковали 18-ю стрелковую дивизию Северной группы. После боя, длившегося целые сутки, 18-я дивизия была вынуждена отойти, а вслед за ней начали отходить и части XV армии. Отход продолжался 7 и 8 июня до рубежа реки Аута, за которым XV армия начала закрепляться, упирая свой правый фланг в группу озер Жадо, а левый фланг в Березину в районе села Дедино. Северная группа также использовала на фланге естественные препятствия, заняв промежуток между озерами Белая Ельна и Жадо.
К этому времени польское наступление начало выдыхаться, а советские войска заняли хорошо подготовленные позиции. Так, 11-я стрелковая дивизия занимала оборону на рубеже озер Долгое и Сшо. Перешеек между ними обороняла 21-я стрелковая бригада. Ее обеспечивала артиллерийская группа в составе 18 орудий: восемь 3-дюймовых пушек, шесть 48-линейных (122-мм) гаубиц, две 42-линейные (107-мм) пушки и две 6-дюймовые гаубицы под общим командованием командира гаубичного дивизиона. Группе был придан аэростат наблюдения. В полосе обороны бригады все цели были точно пристреляны, занумерованы и распределены между батареями. Узость перешейка позволила организовать централизованное управление артиллерией и предусмотреть сосредоточение огня всей группы в любом направлении.