Вскоре отряд Панюшкина был преобразован в бригаду Особого назначения. Облеченный личным доверием Ленина и Свердлова, В. Л. Панюшкин стал весьма свободолюбив и никому подчиняться уже не желал как всякий уважающий себя революционный матрос. Вскоре комбриг Панюшкин вступил в конфликт с Реввоенсоветом 3-й армии, не желая подчиняться контролю. Короткая история «приведения в чувство» бригады изложена в телеграмме Реввоенсовета 3-й армии: «Для приведения полков бригады Особого назначения (бывший отряд Панюшкина) в порядок была назначена особая инспекция под общим руководством Мрачковского. До приезда Панюшкина инспекции удалось сломить сопротивление командного состава Особой бригады, протестовавшего против ввода в полки нового комсостава, имеющего специальное военное образование, и введения дисциплины. Но приехал Панюшкин, и, наладившаяся было работа, немедленно расстроилась. Панюшкин распорядился по бригаде не выполнять приказы Военсовета армии, так как бригада, по словам Панюшкина, подчиняется только Совету обороны и Реввоенсовету Республики. Аналогичное заявление было послано Панюшкиным в Военсовет армии. Такое заявление Ответственного Политического Руководителя (так именовался Панюшкин в документе, выданном Склянским), имеющего специальные полномочия от Реввоенсовета Республики и специальные телефонограммы от т. Ленина, не могло не произвести впечатления на комсостав бригады. Командующий состав отказался от принятия командиров, данных армией, и от исполнения указаний инспекции армии. Для ограждения бригады от влияния Панюшкина Военсовет приказал Панюшкину к 24 часам 29 апреля выехать из района расположения армии. 30 апреля, однако, было установлено, что Панюшкин не выехал из Вятки, а по-прежнему находится в штабе бригады. Тогда же было узнано, что в штабе бригады находится также и бывший комиссар бригады Смирнов, приговоренный к условному расстрелу и получивший распоряжение выехать на фронт в качестве красноармейца. Военсовет приказал Панюшкину и Смирнову явиться в помещение Совета. Панюшкин немедленно явился, Смирнов же явиться отказался. Двукратная посылка в штаб бригады коменданта штаба армии за Смирновым не привела ни к чему, причем находящиеся в штабе бригады чины штаба не только не способствовали выполнению приказа Совета, а, наоборот, чинили коменданту штаба препятствия и вели себя вызывающе. Военный Совет решил арестовать всех находящихся в штабе бригады. Для того чтобы обеспечить безболезненное выполнение приказа об аресте, было решено караульным батальоном отделить штаб бригады от расквартирования ее частей. Арест был произведен ночью, и арестованные, а также Панюшкин были отправлены в караульное помещение. Среди арестованных бывшего комиссара Смирнова не оказалось. Он сбежал. Части бригады, узнав об аресте штаба, волновались. Днем 30-го они начали сосредоточиваться на Советской площади с целью предъявления Военсовету армии ультимативного требования об освобождении штаба. Однако усилиями представителей Совета удалось части отправить по казармам. К вечеру Панюшкин и все арестованные дали обещание исполнять беспрекословно все приказания Военсовета, и арестованные были освобождены. На специально созванном собрании комсостава бригады Панюшкин указал на пагубность поведения его самого и комсостава и призывал к беспрекословному повиновению. Бригада успокоилась. Меры к розыску Смирнова принимаются. Предположено завтра начать переброску бригады. Реввоенсовет 3-й армии Меженинов, Трифонов».
При этом на фронт В. Л. Панюшкин не вернулся, пока не получил личное приказание от В. И. Ленина. Больше никому, кроме вождя революции, матрос-чекист, по-прежнему, подчиняться не желал!
«7 апреля 1919 г. Товарищу Панюшкину. Предписываю Вам немедленно, не теряя минуты, начать погрузку бригады и срочно отправить ее по назначению. Обязываю Вас отправиться на фронт вместе с бригадой. Об исполнении донести. Ленин».
После разгрома колчаковской армии Панюшкин снова назначается комиссаром ВЧК по борьбе с контрреволюцией на Урале и в Поволжье, входит в состав Коллегии ВЧК при Совнаркоме РСФСР.
После окончания Гражданской войны В. Л. Панюшкин занимает различные партийные и государственные должности. Из ВЧК он уходит. В 1919–1920 годах он работает ответственным организатором и инструктором ЦК РКП(б).
Из воспоминаний современника: «Мы сейчас же отправились в Кремль и в доме гоффурьеров, с его сводчатыми потолками, разыскали квартиру матроса Панюшкина. Средних лет, с ампутированной ногой, матрос сидел за самоваром со своим многочисленным семейством, стриженой женой и кучей детей». На самом деле во время одной из реквизиций Панюшкин получил пулю в ногу и долго ковылял на костылях, но ногу ему не ампутировали.
В 1921 году в знак протеста против политики НЭПа В. Л. Панюшкин вышел из РКП(б) и создал собственную Рабоче-крестьянскую социалистическую партию, стоящую на платформе военного коммунизма.
В 1921 году Особый отдел ВЧК Красной армии напал на след заговорщицкой организации под названием Донская повстанческая армия.