После Гражданской войны, в 1925 году, он окончил курсы усовершенствования командного состава. В 1929 году — курсы усовершенствования высшего начсостава при Военной академии имени М.Ф. Фрунзе. Как и другой прославленный советский полководец Великой Отечественной войны маршал Г.К. Жуков, Рокоссовский военного образования в объёме училища или академии не имел.
После Гражданской войны последовательно командовал кавалерийской бригадой, кавалерийским полком, 5-й отдельной кавалерийской бригадой. Во главе её участвовал в боях с белокитайцами во время конфликта на КВЖД. За боевые отличия в Маньчжурии командир красной конницы Рокоссовский был награждён третьим орденом Красного Знамени.
Дальнейшая его служба проходила вполне успешно. С 1930 года он командовал сперва 7-й, затем 15-й кавалерийской дивизией, в 1936 году был назначен командиром 5-го кавалерийского корпуса, в ноябре 1940 года — командиром 9-го механизированного корпуса, нового, современного рода войск Красной армии.
Рокоссовский не избежал участи многих командиров Рабоче-Крестьянской Красной армии, ставших жертвами сталинских репрессий. После кратковременного заключения он был освобождён из тюрьмы в 1940 году по личной просьбе Г.К. Жукова, который остро нуждался в опытных и грамотных генералах.
Нападение гитлеровской Германии на Советский Союз генерал К.К. Рокоссовский встретил во главе своего механизированного корпуса. С ним он участвовал в танковом сражении в районе города Броды на Западной Украине. 9-й механизированный корпус Рокоссовского и 19-й генерала Н.В. Фекленко, входившие в состав 5-й армии Юго-Западного фронта, нанесли согласованный удар в направлении города Дубно по наступающей на восток немецкой 1-й танковой группе Клейста. Его штаб сумел разгадать подготовку контрудара противника с севера, и против двух механизированных корпусов были брошены три танковые дивизии. Все же войска Рокоссовского вышли к исходу 26 июня к Дубно.
Под Дубно, Берестечко и Луцком произошло встречное танковое сражение — крупнейшее с начала Второй мировой войны. Результатом его стало снижение темпов наступления немецко-фашистских войск, в частности 1-й танковой группы. Гитлеровскому фельдмаршалу Рундштедту пришлось задействовать немало сил, чтобы отразить контрудар советских войск в районе города Дубно.
С 11 июля 1941 года генерал К.К. Рокоссовский командовал 16-й армией на Западном фронте, прикрывавшем московское направление. В конце ноября гитлеровцы, после взятия городов Клина и Солнечногорска, получили возможность нанести удар по Москве с севера. Командованию фронта и Ставке Верховного Главнокомандования пришлось принимать срочные меры для ликвидации нависшей над столицей опасности. На рубеж южнее Солнечногорска, Истринского водохранилища и реки Истры отводились войска 16-й армии генерала Рокоссовского, который перед этим успешно действовал в оборонительном Смоленском сражении.
Отходивший под давлением немецкой танковой группы левый фланг 30-й армии образовал разрыв с позицией армии Рокоссовского. Через него вражеские войска начали наступать к каналу Волга-Москва, захватив в ночь на 28 ноября мост через канал у Яхромы. 4-я немецкая танковая армия усилила натиск на 16-ю армию и потеснила её главные силы, заняв посёлок Красная Поляна. Ожесточённые бои развернулись в районе современного аэропорта Шереметьево, у станции Крюково и Дедовска.
На волоколамском направлении танковому удару врага Рокоссовский противопоставил глубокую противотанковую оборону, высокую активность и манёвренность армейских сил. Бои шли всего в 23 километрах от Москвы. Однако немецким войскам дальше прорваться не удалось.
Армия Рокоссовского отличилась во время контрнаступления Красной армии под Москвой. В течение пяти суток шли кровопролитные бои на рубеже Истринского водохранилища и реки Истры, где немцы, взорвав плотину и сосредоточив два корпуса, пытались окончательно остановить продвижение наступавшей 16-й армии. Противник начал отступать лишь после того, как Рокоссовский осуществил обходной манёвр и создал для неприятеля угрозу окружения. Немцы поспешно отступили на линию рек Лама и Руза. Трое суток потребовалось на то, чтобы разгромить противника в районах посёлков Красная Поляна и Крюково.
В июле 1942 года генерал-лейтенант К.К. Рокоссовский был назначен командующим Брянским фронтом, который прикрывал тульское и воронежское направления. С сентября этого же года он возглавил Донской фронт. Контрудары этих двух фронтов оказали значительное влияние на оборонительные действия советских войск под Воронежем и Сталинградом, оттянув на себя немало вражеских сил.
В битве под Сталинградом оборонявшиеся севернее войска Донского фронта под командованием генерал-полковника К.К. Рокоссовского во время контрнаступления совместно с войсками Юго-Западного и Сталинградского фронтов прорвали оборону противника и окружили в междуречье Дона и Волги группировку общей численностью 330 тысяч человек. После этого была проведена операция под кодовым названием «Кольцо» по уничтожению окружённой вражеской группировки.