Дзержинский был, безусловно, лучшим организатором и аналитиком партии большевиков. Он создал такую структуру ВЧК, которая давала возможность не только пресекать, но и предупреждать многочисленные контрреволюционные выступления, которым не было ни конца ни края. Это был гений разведки и контрразведки, которому не мог противостоять никто.
В июне 1918 года на I Всероссийской конференции ВЧК была определена ее гибкая структура: Президиум, председатель, его заместители, секретарь и отделы – Контрреволюционный, Иногородний, Преступлений по должности, Спекулятивный, Военный и вспомогательные. Через месяц были созданы Коллегия и Корпус войск ВЧК. В августе был создан Железнодорожный отдел, ставший Транспортным, а в сентябре – Регистрационно-справочный отдел, занимавшийся оперативным учетом, в том числе изучением захваченных архивов белых армий. Все желающие узнать правду о революции и Гражданской войне 1917–1921 годов, об армиях Деникина, Врангеля, Колчака, Юденича, Краснова, Каледина, Дутова, Унгерна в XXI веке могут это сделать в Российском государственном военном архиве в Москве именно благодаря ВЧК.
В ноябре 1918 года был организован единый Следственный отдел, в ведение ВЧК была передана Бутырская тюрьма. Тогда же Всероссийская Чрезвычайная комиссия объединилась с Военным контролем Революционного военного Совета Красной Армии – военной контрразведкой. В декабре был создан Оперативный отдел, занимавшийся организацией засад, наблюдения, производством обысков и задержаний, арестов. Структура ВЧК совершенствовалась на проводимых дважды в год чекистских конференциях.
В январе 1919 был создан Особый отдел, занимавшийся борьбой со шпионажем и контрреволюцией в армии и на флоте. В феврале Дзержинский создал Секретный отдел ВЧК, занимавшийся борьбой с антисоветчиками там, где это было наиболее опасно для страны. В июне на III Всероссийской конференции ВЧК и местных ЧК был создан Секретно-оперативный отдел, занимавшийся охраной революционного порядка, предупреждением и пресечением контрреволюционных явлений. В сентябре было создано Управление лагерей, только после смерти Дзержинского и Менжинского ставшее сталинским ГУЛАГом.
В ноябре 1919 года управляющим делами Особого отдела, а затем управляющим делами всего ВЧК был назначен Генрих Ягода, при Железном Феликсе честно выполнявший свои обязанности.
В 1920 году в ведение ВЧК перешла Погранохрана. В июле 1920 года Коллегия ВЧК состояла из Ф. Э. Дзержинского, Я. Х. Петерса, И. К. Ксенофонтова, М. Я. Лациса, М. С. Кедрова, В. А. Аванесова, В. Н. Манцева, В. Р. Менжинского, Г. Г. Ягоды, Ф. Д. Медведя, Н. Н. Зимина, С. А. Мессинга, В. С. Корнева. В ноябре при Президиуме Коллегии ВЧК вместо Оперативного было создано Специальное отделение, охранявшее высших руководителей и правительственные объекты. В декабре 1920 в ВЧК была создана внешняя разведка, для которой не было мировых тайн, – Иностранный отдел.
В январе 1921 года Оперативный, Особый и Секретный отделы были объединены в Секретно-Оперативное управление, которое неоднократно реорганизовывалось. Тогда же было создано Экономическое управление ВЧК, занимавшееся борьбой с преступлениями в государственной экономике, экономическим шпионажем, саботажем, спекуляциями. ЭКУ «вело» все наркоматы-министерства огромного Советского Союза.
В январе 1921 года в ВЧК был создан Специальный отдел во главе с Г. И. Бокием. Отдел занимался шифровальной связью, секретным делопроизводством, дешифровкой чужих кодов, наблюдением за режимом секретности во всех организациях СССР, он осуществлял радиоперехват, изготавливал «конспиративные» документы, занимался химией, графологией, фотографией, руководил лагерями особого назначения. В марте в ВЧК был образован аналитический Информационный отдел, готовивший руководству страны доклады и сводки на основе донесений со всей страны.
К концу 1921 года Центральный аппарат ВЧК состоял из следующих подразделений и служб: Секретно-Оперативное управление, Экономическое управление, Управление делами, Административно-Организационное управление, Управление войск, Транспортный отдел, Специальный отдел, Следственная часть, Отдел снабжения, Служба охраны руководителей страны.
После окончания Гражданской войны было принято решение о реорганизации ВЧК, которая была упразднена решением Политбюро ЦК РКП(б) 23 января 1922 года. Вместо нее в составе Народного комиссариата внутренних дел было создано Государственное политическое управление при НКВД РСФСР.
ВЧК и затем ГПУ имели губернские и уездные органы, со штатом: председатель, заведующий следственно-оперативной частью, член-секретарь, следователь, комиссар-разведчик, делопроизводитель, информатор, машинистки, регистраторы, конюхи, шоферы, рассыльные, охрана.