В 1921 году 24‑летний чекист переводится на руководящую работу в ЧК Белоруссии. Но уже через год его отзывают в Москву. Он назначается на должность уполномоченного 6‑го отдела КРО ГПУ, а затем – в Иностранный отдел ОГПУ и вскоре направляют по линии внешней разведки в спецкомандировку в Монголию.
Шпигельглаз проработал в Монголии до 1926 года, проводя с ее территории активную агентурную работу по Китаю и Японии. Одновременно он оказывал содействие монгольским коллегам в работе по разоблачению и пресечению деятельности на территории Монголии белоэмигрантских бандформирований. Используя агентурные возможности, Шпигельглаз активно информировал Центр об обстановке в этой стране, а также о стратегических планах Японии и империалистических кругов Китая на Дальнем Востоке.
Деятельность Шпигельглаза в Монголии была высоко оценена Центром. По возвращении в Москву в сентябре 1926 года он был назначен помощником начальника внешней разведки. При этом учитывалось его свободное владение несколькими иностранными языками. Проработав в этой должности десять лет, в сентябре 1936 года Шпигельглаз был выдвинут на пост заместителя начальника внешней разведки.
Как человек и один из руководителей отечественных спецслужб Шпигельглаз сформировался под влиянием Октябрьской революции и последовавшей затем Гражданской войны. На его долю, как чекиста-руководителя, выпало решение сложнейших задач, поставленных перед внешней разведкой нашей страны в 1920–1930‑е годы. Так, одной из приоритетных задач того времени была борьба с антисоветскими центрами за рубежом и ликвидация их террористических организаций. А с приходом Гитлера к власти все больше внимания стало уделяться получению информации о планах германского руководства.
За период работы на руководящих должностях во внешней разведке Шпигельглаз неоднократно выполнял ответственные спецзадания за рубежом: в Китае, Германии и во Франции. Например, используя прикрытие владельца рыбной лавки, он возглавлял нелегальную разведывательную сеть в Париже. Руководил похищением возглавлявшего Русский общевоинский союз (РОВС) генерала Миллера.
27 января 1930 года председателем РОВС стал генерал-лейтенант Евгений Карлович Миллер, кадровый военный, окончивший в 1892 году академию Генерального штаба. С 1898 по 1907 год он находился на военно-дипломатической работе в Бельгии, Голландии и Италии. Участник Первой мировой войны. С первых дней войны возглавил штаб 5‑й армии. В 1915 году был произведен в генерал-лейтенанты. В январе 1917 года назначен командиром 26‑го армейского корпуса.
В августе 1917 года Миллер был направлен в Италию представителем Ставки Верховного главнокомандующего при итальянском Главном командовании. Здесь его и застала Октябрьская революция. Активный участник Гражданской войны в России. В январе 1919 года прибыл в оккупированный англичанами Архангельск и был назначен главнокомандующим войсками контрреволюционного «правительства Северной области» эсера Чайковского. В феврале 1920 года его части были разбиты, а их остатки отправились в изгнание.
После эвакуации английских войск из Архангельска Миллер уехал в Финляндию, откуда перебрался в Париж, где сначала состоял при штабе Врангеля, а затем находился в распоряжении великого князя Николая Николаевича. В 1929 году был назначен заместителем председателя РОВС.
Возглавив РОВС, Миллер поставил перед белогвардейским союзом стратегическую задачу – организацию и подготовку крупных выступлений против СССР всех подчиненных ему сил. Не отрицая важность проведения террористических актов, он обращал особое внимание на подготовку кадров для развертывания партизанской войны в тылу Красной Армии в случае войны с СССР. С этой целью Миллер создал в Париже и Белграде курсы по переподготовке офицеров РОВС и обучению военно-диверсионному делу новых членов организации из числа эмигрантской молодежи.
Вопрос о проведении острой операции по Миллеру встал после получения руководством советской внешней разведки данных о том, что он через своего представителя в Берлине генерала Лампе установил тесные контакты с фашистским режимом в Германии. «РОВС должен обратить все свое внимание на Германию, – заявлял генерал. – Это единственная страна, объявившая борьбу с коммунизмом не на жизнь, а на смерть».
К проведению операции по нейтрализации председателя РОВС был привлечен надежный источник парижской нелегальной резидентуры генерал Николай Скоблин, являвшийся ближайшим соратником Миллера и отвечавший в руководстве организации за разведывательную работу.
22 сентября 1937 года по приглашению Скоблина Миллер направился с ним на виллу в Сен-Клу под Парижем, где должна была состояться организованная Скоблиным встреча руководителя РОВС с немецкими представителями. На вилле Миллера ожидала оперативная группа чекистов, которая захватила его и через Гавр переправила на теплоходе в СССР.