С началом Первой мировой дела в Бобруйске пошли плохо и семья переехала в Москву. Там юный Орлов поступил по протекции в заведение, которое после революции стало Институтом восточных языков, затем на юридический факультет Московского университета, но в 1916 году был призван в царскую армию и до революции служил в районе Урала. После Февральской революции вступил в связанный с большевиками Российский социал-демократический рабочий союз, который возглавлял С. Лозовский, впоследстии крупная фигура в Коминтерне и НКИДе. В партию большевиков Орлов вступил в 1920 году. Во время войны с белополяками руководил партизанскими действиями на территории, занятой противником, затем занимался контрразведкой в армии, а потом в Архангельске, возглавлял в Москве управление по борьбе с экономической преступностью, лично был известен Сталину.
Летом 1926 года началась карьера закордонного разведчика: с паспортом Леона Николаева, сотрудника советской торговой миссии, Орлов выехал в Париж в качестве резидента одной из самых мощных в Европе советской агентурной сети.
В начале 1928 года его направили шефом еще более крупной и важной берлинской точки, там под фамилией советника торгпредства Лейбы Лазаревича Фельделя он и работал.
В 1931 году Орлов возвратился в Москву и занялся экономической разведкой, затем снова выехал в Париж уже в качестве нелегала с американским паспортом на имя Уильяма Голдина, добытым через агента в США с помощью обманной заявки. (Для этого Орлову пришлось выехать в США, где у него проживало множество родственников.)
Резкие смены легальной и нелегальной «крыш» приводили и к опасным курьезам: так, в Париже американца Голдина остановил на улице сослуживец по торгмиссии, где он ранее работал как Борис Никольский. Сослуживец признался, что стал невозвращенцем и не может найти работу. Этот неприятный случай (сослуживец мог сотрудничать с французскими спецслужбами) вынудил Орлова покинуть Францию.
В июле 1934 года Уильям Голдин прибыл в Лондон в качестве резидента нелегальной резидентуры, где он вступил в прямой контакт с некоторыми членами знаменитой «кембриджской пятерки», в том числе и с Кимом Филби, которого окрестил Сынком. Там же он занимался и «оксфордской группой» (на их имена пока наложено табу).
Сам Филби в Москве воздерживался упоминать имя Орлова, зная о его судьбе, хотя, как показывают архивы КГБ, высоко ценил его и считал прекрасным разведчиком.
Впоследствии, когда Филби по заданию советской разведки стал корреспондентом «Обсервера» и работал на стороне Франко, получив от него орден, он выезжал на тайные явки в Биарриц (Франция), куда из Барселоны следовал и резидент НКВД в Испании Орлов.
В начале 1935 года Орлов вернулся в Москву, где был на руководящей работе и даже вошел в «малый совет», специально созданный для информации ЦК и МИДа. Председателем совета был начальник секретариата Сталина Поскребышев, в него входил и Г. Маленков. Иногда с разведчиком лично консультировался Сталин.
Летом 1936 года впервые под псевдонимом Александр Орлов с дипломатическим паспортом разведчик направлен в Испанию в качестве резидента, точка — важнейшая, попасть на такой пост можно было лишь при полном доверии Сталина.
Вскоре после расстрела Ягоды главой НКВД стал Ежов, начался новый этап чисток, беспощадное избавление от врагов народа.
16 сентября 1936 года Орлов въехал в советскую миссию в Мадриде в Гейлорд-отель, недалеко от Прадо, где размещалось и большинство военных советников. Там жил под псевдонимом Михаил Кольцов и одно время Эрнест Хемингуэй.
Работа закипела.
Основная деятельность Орлова — это оказание испанцам помощи в создании собственной разведки и контрразведки, естественно, под контролем НКВД.
Орлов разоблачал не только истиннных шпионов Франко, но и «очищал» республиканские ряды от троцкистов и других марксистских, но не просталинских сил. По сути дела, ему вменялось в обязанность «сталинизировать» республиканскую Испанию, что вызывало неоднократные резкие протесты со стороны республиканских лидеров.
Контрразведывательная работа Орлова строилась по советскому образцу: через два месяца после прибытия он сообщил о разоблачении резидентуры французской разведки, в архивах сохранились его многочисленные доклады о шпионах в республиканских рядах, с его помощью были выявлены подпольные фалангистские группы среди республиканцев, по его инициативе были развернуты партизанские действия против Франко.
Однако главным объектом ненависти НКВД в Испании был протроцкистский ПОУМ. Тут Орлов показал хорошую чекистскую подготовку: мадридской контрразведке, контролируемой коммунистами, вместе со списками подпольных фалангистов были переданы поддельные документы о связи шефа ПОУМа Андреса Нина и еще нескольких «марксистов» с Франко. 16 июня 1937 года Нин и еще сорок руководителей ПОУМа были арестованы, их войска распущены, штаб закрыт, а ПОУМ объявлен незаконной организацией. Суда над Нином не дождались, вскоре он был выкраден из тюрьмы (некоторые документы говорят о прямом участии Орлова) и бесследно исчез.