В мае 1934 года, когда угроза гитлеровской агрессии стала реальностью и не исключалось создание блока западных стран на антисоветской основе, Политбюро ЦК партии рассмотрело вопрос о координации деятельности военной и политической разведок. Начальник ИНО ОГПУ Артур Артузов был назначен по совместительству заместителем начальника Разведывательного управления (РУ) РККА. 21 мая 1935 года он был освобожден от обязанностей начальника ИНО НКВД и полностью сосредоточился на работе в военной разведке, которую тогда возглавлял Ян Карлович Берзин.
Перевод Артузова с поста начальника внешней разведки органов госбезопасности с понижением в должности в военную разведку был связан с инцидентом, происшедшим с ним незадолго до этого.
В начале 1934 года на совещании в Кремле обсуждался вопрос советско-польских отношений. Сталин, опираясь на информацию советского полпреда в Варшаве Антонова-Овсеенко, склонялся к мысли, что следует откликнуться на «реверансы» Варшавы и прозондировать почву для возможного заключения соглашения с ней. Эту точку зрения вождя разделял и Карл Радек, слывший экспертом Кремля по международным вопросам. На этом совещании в Кремле только Артур Артузов придерживался иного мнения. Опираясь на донесения советской разведки, он заявил, что поляки ведут нечестную игру и всего лишь делают вид, что собираются сблизиться с СССР. На самом же деле Польша зондирует почву для сговора с Германией в надежде, что Гитлер совместно с ней разделит «советский пирог» в случае войны против СССР.
Жизнь показала правоту Артузова. В декабре 1934 года между Германией и Польшей был подписан договор о добрососедстве и сотрудничестве, направленный против СССР. По этому договору Германия обязалась в случае войны с СССР учесть территориальные претензии Польши к нашей стране. Сталин, ознакомившись с этим документом, полученным советской внешней разведкой, реагировал своеобразно: Артузов был освобожден от должности начальника ИНО и переведен в Разведупр РККА. Генсек не любил, когда кто-нибудь публично выражал несогласие с его мнением.
Вместе с Артузовым в Разведупр РККА из ИНО НКВД перешли и некоторые видные разведчики, в том числе Сергей Пузицкий (занял пост помощника начальника РУ), Отто Штейнбрюк (назначен начальником Европейского отдела РУ), Федор Карин (стал начальником Восточного отдела РУ), Лев Мейер-Захаров (назначен помощником начальника РУ).
Уже за первый год своей работы в военной разведке Артузов многое сделал для совершенствования ее деятельности. Он добивался, чтобы сотрудники военной разведки за границей прекратили всякие связи с членами компартий, отказались от практики их вербовки, что неоднократно приводило к провалам в работе.
Интересна в этом плане докладная записка Артузова наркому обороны Клименту Ворошилову. Анализируя причины провала резидентуры ГРУ в Дании, он писал, что резидент Улановский «арестован датской контрразведкой, потому что нарушил приказ о запрете вербовать членов компартии. Трое завербованных им датчан – коммунисты. Тов. Улановский скрыл от нас этот факт».
И в военной разведке Артузов уделял первостепенное внимание работе с нелегальных позиций. В 1935 году по его предложению за рубеж был командирован разведчик-нелегал Ян Черняк. В течение двенадцати лет он возглавлял крупную агентурную сеть, охватывавшую ряд стран Европы. Уже в наше время он был удостоен звания Героя России. Именно Артузов принял в Разведупр легендарного военного разведчика Хаджи-Умара Мамсурова («Ксанти»), отличившегося позднее в Испании. В тот же период нелегальным военным разведчиком стал знаменитый Шандор Радо, обосновавшийся в Швейцарии под псевдонимом «Дора», от которого в годы Великой Отечественной войны поступала ценная стратегическая информация по Германии и Италии. На период работы Артузова в военной разведке приходится активизация деятельности Леопольда Треппера, создавшего разветвленную разведывательную сеть в Бельгии и во Франции. Наконец, Артур Христианович был «крестным отцом» выдающегося разведчика-нелегала Рихарда Зорге («Рамзая»), работавшего в Китае и Японии и в 1963 году удостоенного звания Героя Советского Союза (посмертно).
Список имен прославленных разведчиков, таланты которых сумел разглядеть Артузов, можно было бы продолжить. Однако даже простое перечисление этих бойцов «невидимого фронта», вошедших в золотой фонд как политической, так и военной разведок нашей страны, говорит о незаурядном уме и высоком профессионализме мастера разведки, каковым с полным основанием можно считать чекиста Артура Христиановича Артузова. Он умел создавать задел на перспективу. В суровые годы Второй мировой войны именно от этих людей поступала ценнейшая военная и политическая информация, в том числе по атомному оружию. Именно поэтому Артузов в своей профессии не имеет себе равных среди руководителей разведок всех стран.
Выступая перед сотрудниками внешней разведки и касаясь профессии разведчика, Артузов подчеркивал: