Прихватив несколько папок, Гейдрих занял одну из комнат Коричневого дома, начав карьеру руководителя секретной полиции. Уже в конце месяца он был представлен на одном из совещаний мюнхенского руководства СС в качестве будущего начальника секретной службы, должного навести порядок в рядах партии, в которую просочились шпики и саботажники из враждебных национал-социализму партий и организаций. Вскоре во все эсэсовские подразделения было направлено распоряжение следующего содержания: «В каждом секторе и на каждом участке создать немедленно реферат 1 С, через который впредь должна проходить вся информация. Такой же реферат надлежит создавать и в каждом штандарте (полку) СС».
Не успев обзавестись сотрудниками, Гейдрих покинул Коричневый дом, поскольку его обитатели стали проявлять к нему излишнее любопытство, и разместился в двухкомнатной квартире частного дома по Тюркенштрассе, 23. Следуя традициям криминальных и шпионских романов, он отдал распоряжение, чтобы на любых переговорах, кроме него, присутствовал лишь один сотрудник. Через некоторое время, не удовлетворившись контактами с имевшимися шпиками и осведомителями, он стал расширять свой аппарат.
В апреле 1932 года Гейдрих предпринял поездку по стране, чтобы придать организационные формы созданной им сети. Вследствие того, что республиканское правительство запретило СА и СС, он переименовал свой отдел в «службу прессы и информации». В последующем отдел получил официальное название «службы безопасности» – СД.
Гейдрих забрал всех шпиков и осведомителей из подразделений СС и собрал их у себя, создав из них первое спецподразделение СС. Оно оставалось в составе охранных отрядов, хотя, по сути дела, являлось СС в СС. Создал он и собственную территориальную организацию, которая отбросила тень на все сектора и участки СС. В ее задачу входили выявление враждебных элементов в НСДАП и наблюдение за действиями партий противников. Каждая деталь этих донесений заносилась в специальную картотеку, находившуюся теперь уже по Цуккалиштрассе, 4 в Мюнхене.
На этом Гейдрих однако не остановился, а пошел дальше, стремясь превратить СД в монополиста в области сбора необходимых для партийного руководства сведений. Когда же Адольф Гитлер пришел к власти, Гейдрих решил превратить свою службу в новую полицию рейха.
С некоторым удивлением Гиммлер наблюдал за энергичными действиями своего подчиненного. Былая меланхолия Гейдриха, казалось, навсегда уступила место служебному рвению. Свои распоряжения он отдавал резким, несколько нервным и необычно высоким голосом. Гиммлер с удовольствием поощрял все его начинания, и Гейдрих перепрыгивал с одной ступеньки служебной лестницы на другую: 10 октября 1931 года – штурмфюрер, 1 декабря 1931 года – гауптштурмфюрер, 19 июля 1932 года – начальник службы безопасности, 29 июля 1932 года – штандартенфюрер, 21 марта 1933 года – оберфюрер.
Шеф СС инстинктивно чувствовал, что случай привел к нему «прирожденного контрразведчика», обладавшего здравым умом, знавшим все нити и понимавшим, за какие их них следует дернуть, чтобы привести в движение живую регистрационную машину. Гейдрих обладал всеми свойствами начальника секретной службы: жестокостью, отсутствием сентиментальности, постоянным поиском информации и пренебрежением к людям.
Из всех видов спорта он предпочитал фехтование. И это не случайно. Острое внимание к действиям противника и немедленное парирование его выпадов, молниеносная реакция на непредвиденные ситуации стали второй натурой Гейдриха. Шелленбергу, например, он казался диким зверем, «бывшим постоянно настороже, чувствовавшим опасность и относившимся подозрительно ко всему и всем». Обладая неким шестым чувством, он был способен разгадывать самые тонкие ходы противников. Когда рехсфюрер СС делал замечания по поводу докладов и объяснений тех или иных лиц, Гейдрих очень часто высказывал свое мнение по ходу доклада, замечая: «Не верю» или «Пустая болтовня». А на вопрос Гиммлера, проверил ли он собранные данные, шеф СД отвечал, что интуиция его никогда не подводит, и был в большинстве случаев прав.
Гиммлер давал ему следующую характеристику: «Он обладал необычайным даром оценки людей и мог предсказать с поразительной точностью поступки не только врагов, но и друзей. Его сотрудники не осмеливались никогда обманывать его в чем-либо».
Райнхард Гейдрих был, казалось, рожден стать начальником секретной службы тоталитарного государства. Оберштурмбанфюрер СС Хёттль высказывал даже мысль, что именно Гейдрих «обращал внимание Гиммлера на то, как следовало поступать с позиций рейхсфюрера СС, и что не кому иному, как Гейдриху, принадлежала идея превращения охранных отрядов в полицейскую силу третьего рейха».