Таким образом, за первые три дня наступления 8-я армия добилась существенных успехов. Оборона противника была прорвана на фронте до 80 километров на глубину 23–35 километров. Средний темп наступления ударных корпусов в эти дни составил 8 – 12 километров в сутки. Наибольшему разгрому подверглись 2-я, 11-я и 13-я дивизии 4-й австро-венгерской армии, в строю которых оставалось в общей сложности около 2 тысяч человек вместо 61 тысячи, положенных по штату. Русскими войсками были только пленены 922 офицера и 43 625 нижних чинов противника, захвачено 66 орудий и 150 пулеметов. При этом потери самой 8-й армии убитыми и ранеными составили 32 тысячи человек. Это была одна из самых успешных армейских операций 1916 года. По ее результатам Каледин был отмечен чином генерала от кавалерии.
Поражение австрийских войск на Луцком направлении вынудило их командование решиться на крайние меры. Командующий 4-й армией эрцгерцог Иосиф Фердинанд был снят с должности. Назначенный вместо него маршал Терштпянский немедленно отдал приказ своим соединениям отходить за реку Стырь.
Безусловно, действия 8-й армии сыграли решающую роль в Брусиловском прорыве. В то же время, спустя десятилетия, военные историки выявили ряд существенных недостатков, имевших место при подготовке и в ходе этой операции. Так, в вину Каледину было поставлено чрезмерное переуплотнение боевых порядков войск на направлении главного удара, что способствовало чрезмерным потерям. Наблюдалось стремление командующего и многих командиров соединений атаковать позиции и опорные пункты противника с фронта. Но самым существенным обвинением в адрес Алексея Максимовича был непростительный для кавалериста отказ от использования подвижных соединений в качестве эшелона развития успеха и для параллельного преследования отходившего врага. Именно это позволило австро-венгерскому командованию избежать полного разгрома своих войск и восстановить оборону в глубине.
Наступил трагический для России и ее армии 1917 год. Каледин, привыкший к дисциплине и порядку, тяжело переживал стремительный развал армии, вдруг «заболевшей смертельной для нее демократией». Все дни марта, пока присягали Временному правительству и принимали в соединениях его комиссаров, он ходил мрачный и почти не занимался служебными делами. Частыми стали поездки Алексея Максимовича в передовые части, где он подолгу бывал на наблюдательных пунктах, нередко находившихся в зоне не только артиллерийского, но и ружейного огня противника. Казалось, генерал испытывал свою судьбу или же просто искал смерти.
Он рисковал своей жизнью не только на фронте, но и в тылу. Адъютант Каледина ротмистр В. К. Скачков оставил в дневнике следующую запись: «В первых числах апреля 1917 года под влиянием агитаторов толпа солдат собралась у комендатуры с целью ареста коменданта. Опасаясь расправы, офицеры и военные чиновники попрятались. Вдруг появился Каледин. Его спокойная фигура проталкивается между солдатами. Вокруг крики, шум, бурные речи… Генерал Каледин поднимается на грузовик. Все смолкло. Не спеша, ясно и громко Каледин заявил: «Пока я жив, вы коменданта не увидите»… Затем, переждав рев разъяренной толпы, продолжал: «Стыдись, русский солдат, ныне свободный, по воле агитаторов связавший душу армии и честь России. Офицеров, которые, как и вы, не знали отдыха и умирали на полях сражений, вы изгоняете и убиваете. Подумайте, что вы будете без них делать? Идите же по казармам и еще раз хорошо обо всем подумайте!» Закончив речь, Алексей Максимович спустился с грузовика и медленно пошел в штаб через солдатскую толпу, которая перед ним молча расступалась. После его ухода все стали без шума спокойно расходиться».
Зная общую обстановку на фронте, не трудно себе представить, как рисковал Каледин, вступая в конфликт с комитетчиками и вышедшими из повиновения толпами вооруженных солдат.
В тот раз все обошлось благополучно. Но не прошло и десяти дней, как в 8-ю армию из штаба Юго-Западного фронта прибыли более 30 агитаторов. Они развернули в частях работу, направленную на подрыв авторитета командования, которое якобы стремилось своей деятельностью препятствовать установлению «революционных» порядков в армии. Это очень возмутило Каледина и он поехал для объяснения к Брусилову в Каменец-Подольский.
Командующий фронтом принял Алексея Максимовича подчеркнуто холодно. Как идейного врага – убежденного монархиста. Разговора не получилось. Спустя несколько дней после этой встречи Каледин получил телеграмму от Брусилова об освобождении его от командования 8-й армией и направлении в распоряжение Верховного главнокомандующего.