По указанию Артузова в 1932 году была проведена коренная реорганизация работы разведки в Германии, сочетавшая ведение разведки с «легальных» и нелегальных позиций. На базе нелегальных групп были организованы крупные нелегальные резидентуры, которым поручалось подготовить условия для разведывательной работы на случай войны. Этими резидентурами руководили видные разведчики-нелегалы Василий Зарубин и Федор Парпаров. В 1932 году резидент ОГПУ в Берлине Борис Берман и начальник германского отделения ИНО ОГПУ Отто Штейнбрюк предложили создать за пределами Германии две подрезидентуры, в которых по мобилизационному плану Центра во время войны могли бы обосноваться нелегалы для руководства своей агентурой в Третьем рейхе, где, судя по всему, не останется советских представителей.
Проведенная Артузовым работа по улучшению разведывательной деятельности принесла свои плоды. К началу 1933 года внешняя разведка создала в Германии надежный агентурный аппарат. Ею был приобретен, в частности, такой важный и надежный источник, как сотрудник гестапо Вилли Леман («Брайтенбах»), регулярно снабжавший резидентуру исключительно ценными материалами контрразведывательного и разведывательного характера. Именно от него в середине 1930‑х годов были получены данные об испытании в Германии неуправляемых ракет ФАУ‑1. Занимая пост начальника отдела по борьбе с «коммунистическим шпионажем» в Германии, он предупреждал резидентуру о готовившихся гестапо провокациях против советских представителей.
В 1933 году «легальная» резидентура ОГПУ в Берлине, руководимая Борисом Гордоном, а также нелегальные резидентуры вели активную разведывательную работу, добывая ценную информацию по всем направлениям деятельности. От источников этих резидентур, имевших доступ к секретным документам МИД Германии, других министерств и ведомств, люфтваффе, руководства национал-социалистической партии, полицай-президиума, гестапо, поступала ценнейшая информация о планах и намерениях гитлеровцев в отношении нашей страны и Европы в целом.
В 1932 году к сотрудничеству с внешней разведкой были привлечены Арвид Харнак («Корсиканец»), ставший позднее имперским советником в министерстве экономики, Харро Шульце-Бойзен («Старшина») – сотрудник разведывательного отдела ВВС, Адам Кукхоф («Старик»), а также ряд других ценных источников.
Принятые Центром меры позволили берлинской резидентуре не только быстро преодолеть спад, вызванный обострением обстановки в стране в 1933–1934 годах, но и постепенно активизировать ее работу. В отчете 3‑го (германского) отделения ИНО ОГПУ за 1933 год, утвержденном Михаилом Кедровым отмечалось:
«В результате проводимых национал-социалистами правительственных мероприятий (массовые аресты, разгром организаций и другие репрессии) наша работа в основном не пострадала. Мы потеряли двух агентов. Поссанер вне зависимости от связи с нами был арестован за свои старые грехи перед НСДАП. Был арестован также наш источник А/210, бывший коммунист. Благодаря своевременно принятым мерам, мы избежали каких-либо осложнений в работе. Вся наша агентура работает исключительно в нелегальных условиях».
Уже в 1935 году заметно активизировалась работа по приобретению новых источников информации в Германии. Только за один этот год резидентурой было привлечено к сотрудничеству с внешней разведкой 13 источников по политической линии. А 1936 год можно считать пиком работы берлинской резидентуры: она располагала источниками информации в важнейших объектах Германии и добывала ценную информацию о внутриполитической ситуации в стране, положении в нацистской партии, гитлеровском руководстве, военных устремлениях и приготовлениях Гитлера. Резидентура освещала экономическое положение Германии, способствовала заключению выгодных торговых сделок с немецкими фирмами, а также вела работу по выявлению подрывной деятельности германских концернов против СССР.
Во Франции в этот же период добилась выдающихся результатов нелегальная резидентура, руководимая Борисом Базаровым. Знаменитый разведчик-нелегал Дмитрий Быстролетов (оперативный псевдоним «Ганс»), специализировавшийся на получении шифров европейских стран, сумел завербовать сотрудника британского Форин оффис «Арно», от которого поступали ценнейшие документальные материалы.
В 1933 году по инициативе Артузова была воссоздана нелегальная резидентура в Англии, руководимая знаменитым разведчиком-нелегалом Арнольдом Дейчем, лично завербовавшим свыше двадцати агентов. Этой резидентурой была приобретена знаменитая «Кэмбриджская пятерка», от которой в дальнейшем поступала документальная информация о деятельности МИД и МВД Великобритании, об англо-германских отношениях, о положении в основных политических партиях страны, о торговой политике Великобритании, а также другим актуальным вопросам, интересовавшим Москву. В годы Великой Отечественной войны от «Кэмбриджской пятерки» на регулярной основе поступала информация не только по Великобритании, но и по гитлеровской Германии, где в тот период не существовало резидентуры советской внешней разведки.