Летом 1940 года он получил назначение адъютантом начальника штаба сухопутных войск Франца Гальдера. Началась Вторая мировая война, и этот пост считался весьма ответственным. Вскоре Гелен уже возглавлял разведывательный отдел Генерального штаба вермахта, имевший кодовое наименование «Фремле Хеере Ост» – «Иностранные армии Востока», и носил на мундире погоны оберста – полковника.
Возглавляемое Геленом подразделение насчитывало более полусотни офицеров, в число которых входили специалисты по обработке и анализу разведывательной информации, ведению допросов военнопленных, специалисты по радиосвязи, переводчики с различных языков и, в первую очередь, с русского, украинского, белорусского, польского, чешского и словацкого, статистическое подразделение и информационно-справочная группа. Официально в задачи подразделения полковника Гелена входили сбор сведений о состоянии сил противника на Восточном фронте, подготовка для руководства и главного командования вермахта аналитических справок, докладных, памятных записок и иллюстративных графических материалов к ним.
В 1942 году, в имении «Воронино» под Винницей, где располагалась штаб-квартира возглавляемого полковником Геленом разведывательного подразделения Генерального штаба вермахта, состоялась встреча Рейнгарда с адмиралом Вильгельмом Канарисом. Глава абвера предложил молодому, подающему надежды полковнику создать в недрах Генерального штаба неподконтрольный гитлеровским спецслужбам орган чисто военной разведки, так называемый «Абвер-2» и возглавить его.
Старый шпион хотел, чтобы Гелен сохранил все наработанное абвером в борьбе против стран Восточной Европы и, в частности, Советского Союза. Сговор старого рыцаря плаща и кинжала с молодым и способным представителем этой древней профессии состоялся. Полковник Гелен получил от «большого абвера» массу оперативной информации, архивные дела, и к 1944 году, когда адмирала Канариса, подозревавшегося в участии в заговорах против Гитлера и несанкционированных контактах с Западом, отправили в отставку, отдел Гелена уже имел собственную весьма разветвленную разведсеть и структуру, во многом повторявшую структурное построение и функции «большого абвера». Не говоря уже о той информации, которой могли похвастаться подчиненные Гелена.
В том же году получивший звание генерала Рейнгард Гелен уже прекрасно осознал, каковы перспективы окончания Второй мировой войны. После Варшавского восстания, когда в плен к немцам попал один из его организаторов и руководителей, польский генерал Бур-Комаровский из выпестованной и всемерно поддерживаемой англичанами Армии Крайовой, Гелен весьма заинтересовался опытом «боевок» АК и посвятил «работе» с Бур-Комаровским немало времени.
Британские разведывательные и диверсионные службы, у которых есть чему поучиться, передали часть своего опыта и знаний подпольным ячейкам – «Боевкам» – Армии Крайовой, ориентировавшейся в политическом отношении на Лондон. Гелен хитро решил через поляков «высосать» английский опыт подпольной, диверсионной и разведывательной работы. Пусть далеко не весь, но хотя бы то, что удастся. И действительно, кое-что удалось: Бур-Комаровский пошел на сотрудничество с немцами.
В результате, генерал Гелен стал «отцом» впоследствии получившей широкую огласку идеи создания немецкого «партизанского движения» под кодовым наименованием «Вервольф» – «Волк оборотень». В случае оккупации территории Германии частями Красной армии и англо-американских союзников, в действие должны были вступить диверсионные подпольные боевые группы «Вервольфа». План создания такой организации Гелен доложил командованию и получил полное одобрение.
Согласно замыслу, в организацию «Вервольф» должны входить: специальные краткосрочные курсы по подготовке организаторов саботажа, диверсантов и лиц, обученных собирать разведывательную информацию; предварительное создание на территории рейха, которая может быть захвачена неприятелем, подпольных складов оружия, взрывчатки и средств радиосвязи; заблаговременное создание организации из боевых групп «Вервольфа», каждая из которых должна состоять из нескольких десятков человек; подготовка людей, способных вести определенную пропаганду.
Практически, то, что перечислил генерал Гелен, уже фактически имелось в наличии у спецслужб Третьего рейха. Оставалось только привести все в стройную систему, отладить и дать единое руководство. Руководить «Верфольфом» генерал намеревался сам.
По мнению Гелена, в структуре «Вервольфа» в обязательном порядке должно состоять пять подразделений, члены которых не знакомы друг с другом, но имеют общее руководство.
1. Зух-группен – поисковая группа.
2. Шпренге-группен – подрывная группа.
3. Мелдунго-группен – информационная группа.
4. Ауфклерун-группен – разведывательная группа.