Военных талантов на посту командарма Ворошилов проявить так и не смог, армию его разгромил корпус генерала А. Г. Шкуро и отбросил за Днепр.
Тем не менее, на VIII съезде РКП(б) Климент Ефремович, искренне возомнивший себя полководцем, стал одним из лидеров так называемой военной оппозиции, отрицавшей необходимость использования военспецов. Выдвинувшиеся из низов командиры и комиссары утверждали, что бывшим офицерам в любом случае доверять нельзя, а назначать на высокие должности следует исключительно коммунистов.
19 ноября 1919 года Троцкий подписал приказ о создании Первой конной армии, в которой Ворошилов стал членом РВС. В этой должности он участвовал в кампаниях на деникинском, польском и врангелевском фронтах, был награжден орденом Красного Знамени и Почетным революционным оружием. Озверевшие от крови конармейцы наводили ужас на население «неприятельской страны», уничтожали на своем пути всё и всех, не отличая красных от белых. Комиссар Южного фронта Гусев телеграфировал наркомвоенмору Троцкому:
«Части Первой конной армии терроризируют власть, грабят и расстреливают жителей и даже семьи служащих в Красной Армии, весь скот угоняется… Результаты бесчинств уже сказываются, те села, которые были на стороне советской власти и далеки от участия в бандитизме, теперь, наоборот, питают страшную ненависть к Красной армии и советской власти».
В марте 1921 года комиссар Южной группы войск Ворошилов подавлял Кронштадтский мятеж, за что получил второй орден Красного Знамени. В том же году его избрали членом ЦК партии большевиков и назначили командующим войсками вновь созданного Северо-Кавказского военного округа, ведущего в ту пору «непрерывную борьбу с бандитизмом»: то выселяли и отстреливали поддержавших Деникина терских казаков, а их земли отдавали чеченцам, то «беспощадно расстреливали» чеченских националистов. Именно за эти труды Климент Ефремович удостоился третьего ордена Красного Знамени.
Сталин внимательно следил за продвижением старого друга. С подачи генсека командующий войсками Московского округа Н. И. Муратов был переброшен на Северный Кавказ, а на его место назначен Ворошилов. В январе 1925 года он стал заместителем председателя Реввоенсовета СССР и наркома по военным и морским делам. После смерти Фрунзе Климент Ефремович 6 ноября 1925 года возглавил вооруженные силы страны, а в январе 1926-го был избран членом Политбюро. Назначение Ворошилова вызвало удивление в военной среде, где были весьма невысокого мнения об его военных талантах. Но для Сталина имел значение только один факт: Клим был проверенным, надежнейшим союзником.
Большая Советская энциклопедия писала в 1929 году:
«Ворошилов не получил систематической военной подготовки. Впервые с военным делом он познакомился в ожесточенной революционной борьбе того класса, из недр которого он вышел. Гражданская война была для него единственной практической школой. Лишь по окончании военной страды он получил возможность ознакомиться с теорией военного дела. Все это наложило особый отпечаток на работу Ворошилова, и сделало его одной из наиболее характерных, ярких и оригинальных фигур среди военных вождей и полководцев Октябрьской революции… Высоко развитое классовое чутье, глубокая принципиальность, подлинный демократизм — вот основные черты его политического профиля».
Вся беда в том, что Климент Ефремович считал, что этой «школы» и этого «профиля» вполне достаточно для того, чтобы разгромить любого врага. Поэтому теорией военного дела оригинальный и яркий вождь не интересовался, предпочитая ей высокое искусство оперы в лице женщин-исполнительниц.