Нужно сказать, что внешняя разведка в структуре советских органов госбезопасности занимала до прихода к ее руководству Фитина весьма скромное место. В первые годы советской власти ее вообще не было. Ожидалось, что примеру Советской России последуют и другие страны, разразится мировая революция и границы рухнут. Главным было подавить внутреннюю гидру контрреволюции, а эта миссия была возложена на Особый, Секретно-политический и Контрразведывательный отделы ВЧК. И лишь 20 декабря 1920 года, на фоне поражения спартаковцев в Германии, падения советских республик в Баварии и Венгрии и катастрофы в ходе советско-польской войны, председатель ВЧК Феликс Эдмундович Дзержинский подписал приказ № 169 о создании внутри Особого отдела нового подразделения — Иностранного отдела (ИНО) ВЧК, то есть внешнеполитической разведки. 10 июля 1934 года внешняя разведка была передана в ведение 7-го отдела Главного управления государственной безопасности (ГУГБ) НКВД СССР, а в июле 1939 года в связи с очередной реорганизацией НКВД разведка сосредоточивается в 5-м отделе ГУГБ НКВД СССР. Как видим, номера далеко не элитные, и до Первого главного управления (ПГУ) — абсолютной элиты в структуре КГБ СССР — было еще далеко.
Первым главой ИНО был назначен армянский революционер Яков Христофорович Давтян (Давыдов). По поручению Дзержинского он разработал положение об ИНО, его штатное расписание, структуру. В 1921 году Давтяна на некоторое время сменил его однокашник по 1-й Тифлисской гимназии Рубен Катанян. Затем до 1922 года должность начальника внешней разведки занимал Соломон Григорьевич Могилевский, а в 1922–1929 годах — Меер Абрамович Трилиссер, который наладил работу резидентур и подобрал кадры ИНО, среди которых были Блюмкин, Слуцкий, Шпигельглас, Минскер, Нейман, Мюллер, Рейсс, Гинзберг, Агабеков, Аксельрод, Герт, Маневич, Розенгольц, Розенцвейг, Фельдбин, Нестерович, Гольденштейн, Гольдберг, Бустрем и другие. Затем внешнюю разведку возглавил Станислав Адамович Мессинг, в 1931–1935 годах — Артур Христианович Артузов (Фраучи), в 1935–1938 годах — Абрам Аронович Слуцкий. Затем, в течение одного лишь 1938 года — Сергей Михайлович Шпигельглас, Зельман Исаевич Пассов и Владимир Георгиевич Деканозов (Деканозишвили) — еще один однокашник Давтяна и Катаняна по 1-й Тифлисской гимназии.
Подбор кадров для работы в ИНО осуществлялся в основном через Коминтерн, задуманный Лениным как штаб «мировой революции». Но когда Сталин взял курс на построение социализма в отдельно взятой стране, против которого активно выступили Троцкий (Бронштейн), Бухарин, Зиновьев (Радомысльский), Каменев (Розенфельд) и другие представители не столько антисталинской, сколько антирусской оппозиции, а затем еще трансформировал этот курс в задачу воссоздания мощного русского государства, то ориентированные на Запад представители Коминтерна ответили предательством. Причем началось это до 1937–1938 годов. Еще в 1935 году один из предателей — высокопоставленный сотрудник ИНО Вальтер Германович Кривицкий (на самом деле Самуил Гершевич Гинзберг) в беседе со своим другом и таким же предателем Игнатием Станиславовичем Рейссом (настоящее имя — Натан Маркович Порецкий) заявил: «Они нам не доверяют… они не могут доверять коммунистам-интернационалистам. Они заменят нас русскими, для которых революционное движение в Европе ничего не значит». Всё верно: одно дело использовать Россию как «хворост» для раздувания мирового пожара и работать неизвестно на кого, и совсем другое — строить мощное русское государство, в том числе и для отпора внешней агрессии. Поэтому-то ставка Сталина на русский народ и вызвала столь негативную реакцию у адептов «мировой революции». Начались побеги ныне воспеваемых «борцов со сталинизмом» на Запад, а для разведчика пропуск на ту сторону один — сдача связей, разведывательной инфраструктуры и выдача агентуры. В 1937 году Рейсс и Кривицкий остаются во Франции. Проживая с 1938 года в США, Кривицкий выдает более 100 советских агентов по всей Европе и издает книгу «Я был агентом Сталина». 10 февраля 1941 года его находят мертвым в гостинице «Беллвью» в Вашингтоне. Труп Рейсса был обнаружен 4 сентября 1937 года на дороге из Лозанны в Пулли… Однако уже в июле 1938 года стало известно о бегстве в США резидента НКВД в Испании Александра Орлова (Лейба Лазаревича Фельдбина), а 14 июня 1938 года происходит событие, едва не приведшее к провалу всей системы советской разведки: в тот день в Маньчжурии к японцам уходит полпред НКВД по Дальнему Востоку, комиссар госбезопасности 3-го ранга (генерал-лейтенант) Генрих Самойлович Люшков.