В середине марта в связи с болезнью генерала Н. В. Рузского командующим Северо-Западным фронтом был назначен генерал М. В. Алексеев. Начальником штаба Юго-Западного фронта, по просьбе Иванова, стал генерал В. М. Драгомиров, с которым Николай Иудович имел большой опыт совместной работы в Киевском военном округе. Но, будучи грамотным штабным работником, Драгомиров, в отличие от своего предшественника, не обладал способностью добиваться реализации принятых решений, гораздо легче шел на компромиссы, умел ладить с вышестоящим начальством. Такой человек больше устраивал Иванова, стремившегося оградить себя от всяческих неожиданностей.
Тем временем, германское командование, обеспокоенное неудачами австро-венгерских войск в Карпатах, вновь решило помочь своему союзнику. К середине апреля, перебросив значительные силы с Западного фронта, противник создал мощную группировку войск в полосе 3-й армии Юго-Западного фронта. Она превосходила противостоявшие ей русские войска по живой силе в два раза, по легкой артиллерии и пулеметам – в три раза, по тяжелой артиллерии – в 40 раз. Различными были и возможности сторон по боеприпасам. Русская артиллерия могла отвечать одним выстрелом на 40 выстрелов противника. Все это делало угрозу сильного вражеского наступления весьма реальной.
О готовящемся наступлении германских войск в районе Горлицы Иванову было известно почти за две недели до его начала. Но только 16 апреля он отдал директиву о выдвижении навстречу противнику передовых отрядов 3-й армии и о создании в ее тылу второй оборонительной полосы. Эти меры были половинчатыми и явно запоздалыми.
19 апреля германские войска после мощной артиллерийской подготовки начали наступление и к исходу дня вклинились в оборону 3-й армии на три-четыре километра. В последующие дни противник начал боевые действия за расширение и углубление участка прорыва. Его дальнобойная артиллерия засыпала градом снарядов артиллерийские позиции русских, пехота проводила одну атаку за другой. Становилось совершенно очевидным, что одной 3-й армии наступление врага не остановить. Нужны были решительные меры, и, как обычно, Иванов обратился за помощью к Верховному главнокомандующему.
24 апреля в Холме состоялось совещание Верховного главнокомандующего с командованием Юго-Западного фронта. Великий князь Николай Николаевич, которому уже изрядно надоела беспомощность Иванова, прибыл на совещание явно не в духе.
Заметив это, хитрый Николай Иудович, сославшись на простуду, попросил В. М. Драгомирова сделать доклад. Великий князь, выслушав начальника штаба фронта до того места, где тот, ссылаясь на значительное превосходство противника в силах и средствах, предлагал отвести войска за реку Сан, вдруг взорвался. Он обрушился на Драгомирова с грубой бранью, утверждая, что штаб фронта не умеет правильно рассчитывать соотношение своих сил и противника и поэтому обычную трусость выдают за необходимость. Слабый здоровьем, не оправившийся после болезни, Драгомиров не мог противостоять разгневанному Верховному. От волнения генералу стало плохо. Его увели и уложили в постель. Через неделю Драгомиров был отстранен от занимаемой должности и заменен генералом С. С. Саввичем.
Иванов, дождавшись, пока, разрядившись на начальнике штаба, великий князь несколько успокоился, вместо того, чтобы заступиться за Драгомирова, постарался виновником военных неудач представить давно уже не нравившегося ему командующего 3-й армией генерала Р. Д. Радко-Дмитриева. По его просьбе этот генерал был также смещен с занимаемой должности. Вместо него в командование армией вступил генерал от инфантерии Л. В. Леш – старый знакомый Николая Иудовича по боевым действиям в Китае и Русско-японской войне. До этого он командовал 12-м корпусом в армии А. А. Брусилова, успел отличиться в боях и был награжден двумя боевыми орденами, в том числе орденом Святого Георгия 3-й степени.
Смена командующих не решила проблемы. Иванов пытался сорвать наступление врага подвижной обороной, в процессе которой последовательно отводил войска с одного тылового рубежа на другой. Однако из-за неподготовленности этих рубежей оборона на них зачастую не получалась. Это увеличивало темпы отхода, который мог превратиться в паническое бегство. Чтобы не допустить этого, командующий фронтом постоянно «подпитывал» войска за счет резервов, получаемых от Ставки, которые использовались по частям и быстро таяли в боях с превосходящими силами противника. Вскоре разрывы в оперативном построении войск заполнять стало нечем.
К началу мая армии Юго-Западного фронта отошли на рубеж рек Сан и Днестр, где в очередной раз попытались остановить противника. И на этот раз их ждала неудача. 21 мая, после упорной двухнедельной обороны соединения генерала Брусилова оставили развалины Перемышля. Спустя еще две недели противник практически без боя занял Львов. И лишь после этого его наступление было остановлено.