С 1921-годо 1937 года начальником Спецотдела был Глеб Иванович Бокий. Родился Бокий в 1879 году в семье украинского учителя. Член партии с 1900 года, участник революций 1905 и 1917 годов, он 12 раз отбывал срок в царских тюрьмах и дважды ссылался в Сибирь. В 1896 году Бокий поступил в Горный институт в Санкт-Петербурге. Из-за многочисленных арестов и ссылок диплом об окончании института Бокий так и не получил, закончив лишь четыре курса этого учебного заведения. Однако высокий уровень преподавания предметов в Горном институте, особенно математики и физики, позволил ему получить несомненно глубокие знания. Кроме того, являясь в течение 20 лет одним из руководителей революционного подполья Петербурга, Бокий приобрел огромный опыт организаторской работы, сплотил вокруг себя группу надежных и грамотных людей.
На работу в ВЧК Бокий пришел по личному приглашению его первого председателя Дзержинского. В конце августа 1919 года по распоряжению Дзержинского Бокий возглавил ЧК в Петрограде вместо убитого М.С. Урицкого.
Различные источники дают разную характеристику этому человеку. Некоторые из них рисуют Бокия как мрачную и раздираемую порочными страстями фигуру. Другие, не отрицая, что у Бокия были свои слабости и недостатки, делают упор на его честности и прямоте, которые привели к тому, что Бокий был в оппозиции к Сталину уже в середине 20-х годов и оказался в числе первых жертв репрессий в органах госбезопасности.
Спецотдел занимался как вопросами шифрования, так и вопросами дешифрования. В 1933 году шифровальщики работали в большой комнате на четвертом этаже здания на Лубянке, в котором размещалось ОШУ. Дешифровальщики занимали верхний этаж бывшего здания Наркомата иностранных дел на углу улиц Большая Лубянка и Кузнецкий мост. Тот факт, что нижние этажи здания посещались частными лицами, использовался для маскировки расположения Спецотдела. В 1935 году как шифровальщики, так и дешифровальщики переехали в новое здание НКВД на улице Большая Лубянка, переименованной к тому времени в улицу Дзержинского.
Личный состав Спецотдела проходил по гласному и негласному штату. К последнему относились криптографы и переводчики, для которых в Спецотделе были установлены должности «эксперт» и «переводчик». Гласный состав был представлен секретарями, курьерами и машинистками. В 1933 году в Спецотделе по гласному штату числилось 100 человек, а по негласному — 89.
В 30-е годы Спецотдел стал одним из крупнейших технически оснащенных органов радиоразведки в мире. Он активно взаимодействовал с ОГПУ и 4-м управлением Генштаба, которые, следуя призеру царской охранки, сделали приобретение шифрматериалов одним из основных своих приоритетов.
Дешифровальная секция Спецотдела была разбита на отделения по географическому и языковому принципу — китайское, англо-американское и другие. Работала она весьма успешно. Об этом говорит тот факт, что ее сотрудников часто отмечали в ОГПУ как передовиков социалистического соревнования.
В дешифровальной секции выделялись Иван Калинин, который время от времени появлялся у дешифровальщиков, чтобы их проконсультировать, и старый, но полный сил профессор Шунгский, служивший еще в царской армии и являвшийся главным специалистом японского отделения по языковым вопросам. Кроме них в Спецотделе работало множество интересных и неординарных людей. Был немец с бородой почти до пола. Была женщина, которая настолько любила все японское, что дома облачалась в кимоно. Профсоюзной ячейкой в Спецотделе руководил бывший дешифровальщик ДП, прочитавший когда-то до революции шифрованную переписку Ленина. Была дочь профессора-япониста, которого в 30-е годы арестовали по обвинению в том, что он в течение многих лет являлся резидентом японской шпионской сети в Москве. Среди личного состава дешифровальной секции Спецотдела было много русских аристократов, в том числе бывших графов и баронов. Это вопиющее противоречие с общим отношением к «бывшим» в то время объяснялось острой нехваткой лингвистов, необходимых для дешифровальных работ. А профессия дешифровальщика являлась настолько редкой, что даже когда их сажали в тюрьму, то и там привлекали к работе по специальности. Например, Владимир Кривош-Неманич когда-то занимал достаточно высокий пост в дешифровальной службе ДП. В советское время он как сотрудник ненавистной царской охранки неоднократно арестовывался. Но и находясь в заключении в Бутырской тюрьме, выполнял задания Спецотдела: начальник одного из отделений дешифровальной секции приносил ему работу «на дом», в камеру. (По крайней мере, проблем, связанных с обеспечением режима секретности, с заключенными-криптоаналитиками не возникало.) Но в отношении остальных эти проблемы всегда стояли остро. Сотрудникам Спецотдела запрещалось говорить о том, в каком учреждении они работают и где оно находится. Им не разрешалось даже посещать рестораны, ибо там их разговоры могли быть подслушаны иностранными шпионами.