В феврале 1921 года Всероссийский главный штаб и Полевой штаб Реввоенсовета слили в единый Штаб РККА. А Фрунзе в 1924 году, напротив, пожелал разделить единый штаб на три структуры. Возникли собственно Штаб РККА (орган стратегического управления войсками) и два органа, занимавшиеся текущими вопросами: Главное управление РККА (повседневные нужды армии, административные дела) и Инспекторат РККА (боевая подготовка войск).
Выступая перед преподавателями и слушателями Военной академии, Михаил Васильевич говорил, что хотел бы воссоздать или генеральный штаб царской армии, или большой генштаб германских вооруженных сил.
В марте 1925 года начальником Штаба РККА стал бывший главком Сергей Сергеевич Каменев. При всей нелюбви полководцев поколения Гражданской войны к штабной работе это была важнейшая должность. Через полгода Каменева сменил Тухачевский, которого Фрунзе сразу ввел в состав Реввоенсовета СССР. Военные таланты Михаила Николаевича были очевидны.
Ключевой фигурой в военном ведомстве был начальник политуправления Андрей Сергеевич Бубнов, который пользовался большим влиянием в партийном аппарате.
Бубнов был старым знакомым Фрунзе. Андрей Сергеевич родился в Иваново-Вознесенске в семье управляющего текстильной фабрикой, окончил реальное училище и учился в Московском сельскохозяйственном институте. В Иваново-Вознесенске они вели подпольную работу вместе с Фрунзе.
После революции Бубнова назначили членом коллегии Наркомата путей сообщения, он входил в правительство Советской Украины, был членом Реввоенсовета Украинского фронта, 14-й армии, Северо-Кавказского военного округа.
В 1922 году Сталин приблизил к себе Бубнова — назначил заведующим агитпропотделом ЦК, а в апреле 1925-го даже сделал секретарем ЦК партии. Но, видимо, решил, что это слишком большой пост для Бубнова, и перевел его кандидатом в члены секретариата ЦК, зато включил в состав оргбюро ЦК. Это обеспечило начальнику политуправления высокий статус в партийном аппарате и возможность влиять на кадровые решения в тот самый момент, когда разгорелись яростные споры о роли комиссаров в Красной армии.
В ЦК обратились 14 крупных военачальников с предложением полностью отказаться от института военных комиссаров и ввести, как положено в армии, единоначалие, потому что комиссарам в мирное время заняться нечем, и они только пишут доносы на своих командиров. Тем более что военачальники, прошедшие Гражданскую войну, — члены партии, обрели политический опыт и вполне могут обойтись без комиссаров.
Еще Троцкий в 1923 году издал приказ № 511, который сужал права комиссара в воинской части и вообще допускал отсутствие комиссара даже при беспартийном командире. Тогда Бубнов возмутился: как же без комиссаров! — и добился отмены приказа. Но командиры доказывали, что двойное подчинение в воинском механизме невозможно.
После долгих обсуждений в июне 1924 года оргбюро ЦК образовало комиссию по военным делам во главе с Бубновым, которая занялась отбором военачальников, способных стать единоначальниками, то есть одновременно исполнять обязанности и командира, и комиссара. Военные политработники испугались, что им вообще придется покинуть армию. Но им объяснили, что если они займут правильную позицию во внутрипартийных дискуссиях, то останутся на политработе, а то и сами станут командирами.
ЦК принял постановление «О единоначалии в Красной армии». 2 марта 1925 года новый председатель Реввоенсовета Фрунзе подписал долгожданный приказ «О введении единоначалия в РККА». Сначала командиры-единоначальники появились в армии, а потом на флоте. Остановились на компромиссном варианте: наиболее подготовленные командиры — члены партии становятся единоначальниками, то есть берут на себя еще и обязанности комиссара. Комиссар же осуществляет политическое руководство и отвечает за морально-политическое состояние части. Но лишается права контроля над командиром.
Фрунзе добивался жесткого соблюдения принципа единоначалия, отнимая у комиссаров их власть. Он требовал, чтобы командир обладал всей полнотой власти, независимо от того, член он партии или беспартийный. Но по существу шел обратный процесс — вооруженные силы очистили от беспартийных военных профессионалов как «сомнительных» в политическом отношении.
И Фрунзе не мог этому помешать. Ведь он же сам писал: «Люди с идеологией, враждебной идеям труда, должны быть изъяты из Красной армии. Надо добиться такого положения, чтобы командный состав стал фактически советским, чтобы исчезла всякая почва для каких бы то ни было подозрений политического порядка по его адресу, чтобы у него с низами, с рядовой красноармейской массой, чувствовалась полная спайка и взаимное понимание».