Отъезд Гейдриха в Прагу был намеком для Шелленберга изменить своей преданности ему. Шелленберг и восхищался Гейдрихом, и ненавидел его, и у него были на то причины. Используя разнообразные тонкости, он в течение семи лет стремился из мальчи-ка-подмастерья, преданного СС, стать в день вторжения в Россию главой Амт IV — службы внешней разведки СД. Прирожденный интриган, он видел, что теперь будет разумным переориентировать свои услуги в направлении Гиммлера; он понял, что, возможно, в некотором отношении сможет заменить Гейдриха в качестве тайного наперсника Гиммлера, несмотря на то, что его характер так отличался от характера Гейдриха. Сам он говорил: «Многие мои противники распространили слух о том, что я и в самом деле «двойник» Гейдриха… Однако со временем эта злобная пропаганда постепенно прекратилась, и возник новый миф, в котором Гейдриха заменил Гиммлер». Шелленберг утверждал, что ему поручили составлять гитлеровские прокламации для немецкого народа о войне с Россией, и, стараясь закончить работу в срок, он просидел над ней всю ночь, в то время как Гейдрих и Гиммлер осаждали его телефонными звонками. «Гиммлер меня нервировал, — писал Шелленберг. — Как только Гитлер задавал ему какой-то вопрос или что-то говорил ему, он бежал к телефону и засыпал меня вопросами и советами». Шелленберг не без удовольствия почувствовал, что Гиммлер начинает зависеть от него, и его карьера быстро пошла в гору.
Назначенный действующим начальником службы внешней разведки СД 22 июня 1941 года, в день вторжения в Россию, Шелленберг следующие два месяца провел за подготовкой меморандума для тайной политической службы за границей, который по окончании работы над ним произвел такое впечатление на рейхсфюрера СС, что он даже представил его руководству СС и партии в форме приказа, «действуя таким образом как пропагандист идей» Шелленберга, по собственному выражению последнего. За последующие четыре года Шелленберг очень сблизился с Гиммлером и, прикрываясь маской особого советника, старался заставить рейхсфюрера принять политику и способы действий, созревшие в его хитром уме.
Он наслаждался плодами службы в таких формах, которые могут показаться преувеличенными для секретного агента американского триллера. С нарастающим возбуждением описывает он роскошные ковры в своем кабинете, передвижной столик с телефонами, напрямую соединявшими его с Гитлером, микрофоны, спрятанные повсюду: в стенах, лампах, под столом, сигнализацию на фотоэлементах, большой письменный стол со встроенными автоматами, которые могли изрешетить комнату пулями. Одним нажатием кнопки можно было собрать охрану, окружить здание и блокировать выход; автомобиль Шелленберга был оборудован коротковолновым передатчиком, по которому он мог связаться с офисом и диктовать распоряжения своему секретарю. Даже он сам был готов к внезапной смерти: когда ему поручили миссию за рубежом, он носил искусственный зуб, в котором содержалось достаточно яда, чтобы убить его за 30 секунд.
Летом 1941 года, начиная с июля, Гиммлер довольно много времени провел на русском фронте. Он основал свой штаб в Житомире на Украине — на сто миль севернее штаба Гитлера в Виннице, известного как «Вервольф». Из Житомира Гиммлер поддерживал связь с айнзацкомандами, полицией и, хотя не так тесно, с Ваффен СС, четыре известные дивизии которых («Адольф Гитлер» — ранее «Лейбштандарт», «Рейх», «Мертвая голова» и «Викинг») блестяще сражались, пока зимние морозы не привели к серьезным потерям. Но Гиммлер был в первую очередь озабочен работой айнзацкоманд позади линии фронта; едва пленники попадали в их руки, они начинали бойню евреев, цыган и коммунистов.