К середине 1950-х гг. Вооруженные Силы СССР уже располагали ядерным оружием различной мощности, в том числе и термоядерными (водородными) боеприпасами, а также экспериментальными данными о разрушительной и поражающей силе этого оружия, о способах и средствах защиты от него. Ракетно-ядерное оружие начало в относительно массовом количестве поступать в войска и стало определяющим образом влиять на строительство армии и флота. В декабре 1959 г. постановлением Совета министров СССР был создан новый вид Вооруженных Сил – Ракетные войска стратегического назначения (РВСН).
Наряду с созданием РВСН шел процесс организационной перестройки других видов Вооруженных Сил и родов войск. Он обусловливался насыщением их ракетно-ядерными средствами борьбы и новыми, более мощными, точными и результативными обычными видами оружия и военной техники. Сухопутные войска, как и прежде, оставались самым многочисленным видом Вооруженных Сил. Их структура развивалась в направлении резкого увеличения огневой и ударной мощи частей и соединений. Сухопутные войска получали на вооружение ракетные комплексы оперативно-тактического и тактического назначения, обладавшие большой дальностью действия, точностью пусков, огромной разрушительной силой боеголовок, высокой маневренностью, а также зенитные и противотанковые управляемые ракеты. Продолжала развиваться и ствольная артиллерия, увеличивался удельный вес орудий крупного калибра, обладавших большой маневренностью, дальностью стрельбы, более мощным снарядом. Дальнейшее развитие получила реактивная артиллерия. Увеличились боевые возможности танков. Их совершенствование направлялось по линии усиления броневой защиты и противоядерной устойчивости, увеличения запаса хода, повышения мощности и эффективности огня.
Наряду с перевооружением Сухопутных войск шел поиск их оптимальной организационной структуры. В 1957 г. из общевойсковых армий было исключено корпусное звено управления, а на базе механизированных армий вновь сформированы танковые армии, в составе которых уже не было стрелковых (мотострелковых) соединений. Моторизация и все большее насыщение войск бронированными средствами повлекли крупные изменения и в самом многочисленном роде Сухопутных войск – стрелковых войсках, которые стали именоваться мотострелковыми. В 1957 г. на базе механизированной и стрелковой дивизий было создано универсальное общевойсковое соединение – мотострелковая дивизия. В 1960 г. с принятием на вооружение ракетного комплекса тактического назначения «Луна» в составе мотострелковых дивизий начали формироваться отдельные ракетные дивизионы, вооруженные этими комплексами. В 1957 г. произошла реорганизация и танковой дивизии в направлении увеличения в ней количества танков при одновременном сокращении пехоты. В 1958 г. в целях объединения всех наземных средств ПВО, имевшихся в Сухопутных войсках, и удобства управления ими приказом министра обороны был создан новый род войск – войска противовоздушной обороны Сухопутных войск. Увеличение количества самолетов военно-транспортной авиации, совершенствование парашютно-десантной техники позволило в середине 1950-х гг. перевести воздушно-десантные дивизии с двух– на трехполковой состав. В каждую дивизию были включены отдельный истребительно-противотанковый дивизион и воздухоплавательный отряд. В 1956 г. директивой Генерального штаба расформировываются воздушно-десантные корпуса и основным тактическим соединением воздушно-десантных войск становится воздушно-десантная дивизия. Развитие войск связи, инженерных и химических войск было направлено на повышение боевого потенциала, маневренности и возможностей по обеспечению самостоятельности действий соединений, частей и группировок войск в различных условиях обстановки.
Все эти изменения главному инспектору маршалу Рокоссовскому приходилось учитывать в своей работе. Главная инспекция Министерства обороны осуществляла контроль за подготовкой войск и поддержанием их в постоянной боевой готовности. Цель, содержание и время инспектирования, количество частей и соединений, подлежавших проверке, определялись министром обороны или назначенным им лицом. В ходе инспекторской проверки (для кораблей ВМФ – инспекторский смотр) могли проводиться инспектирование тактических, тактико-специальных и командно-штабных учений, тактических учений с боевыми стрельбами, стрельбой артиллерии и пусками ракет, бомбометанием авиации, а также занятия и выходы кораблей в море, строевые смотры и т. д.
К. К. Рокоссовский находился на посту главного инспектора немногим более четырех лет. За это время было сделано немало, но еще больше было планов. Однако реализовать их Константину Константиновичу не пришлось. Весной 1962 г. ему позвонили из Центрального Комитета КПСС и предложили выступить в одной из газет со статьей о Сталине: