Соревнуясь в мастерстве обмана, оба шефа гестапо, Гиммлер и Гейдрих, готовили свое оружие. Начало положила СД, старая служба Гейдриха, которая претерпела наиболее значительные преобразования во второй половине 1934 года. Бывшая внутренняя служба безопасности СС декретом от 9 июня того же года была превращена в единственную разведывательную службу партии, и эта счастливая инициатива позволила ей сыграть важную роль в операциях против Рема. Однако она не являлась государственной организацией, и формально ее компетенции ограничивались внутренними делами партии. Зато сама партия стала многочисленна и охватывала такую большую долю населения, что поле деятельности СД было поистине беспредельным.
Гейдрих в службе СД располагал примерно 3 тысячами агентов. У них были официальные конторы, чью деятельность, особенно в маленьких городах, трудно было держать в секрете. Но гласность могла нанести ущерб разведывательной работе. Против Гиммлера и Гейдриха росла ненависть; после 30 июня и убийств, совершенных «мстителями Рема», возникла необходимость создания «параллельной» секретной сети. Исходя из этого, Гейдрих приступил к подбору «добровольных членов».
С самого начала своего существования СД, как и все разведывательные службы, пользовалась осведомителями, которых стыдливо окрестили «добровольными членами». Название это было отчасти правильным, потому что большинство из них не получали жалованья, если не считать премий за конкретные дела или возмещения расходов, а занимались шпионажем в соответствии со своими политическими убеждениями или личными вкусами. До взятия власти служба СД насчитывала от 30 до 50 постоянных сотрудников, не более; немногим больше было количество «добровольных членов».
С середины 1934 года число постоянных агентов СД стало быстро расти, причем количество «добровольных членов» росло еще быстрее и достигло в конце концов 30 тысяч. Эти тайные агенты подбирались во всех социальных слоях. Слежке подвергалось, например, большинство преподавателей высшей школы; добровольные агенты, завербованные среди студентов, записывали их лекции и передавали конспекты в СД. Это позволяло судить о политических позициях преподавателей. К концу войны большинство осведомителей составляли женщины. Добровольцев называли теперь «доверенными людьми».
С июля 1934 года Гейдрих начал проводить в СД огромную работу по сбору и обработке документации под предлогом разработки основ для изучения социальных групп, что позволило бы определить базу политического воспитания, способного обратить в национал-социалистическую веру тех, кто еще придерживался старой идеологии. СД, используя научные и статистические методы, приступила к изучению деятельности ранее существовавших группировок марксистов, евреев, франкмасонов, либеральных республиканцев, верующих, людей свободных профессий, которые могли бы, по мнению нацистов, породить новую оппозицию. Под прикрытием этих идеологических исследований СД создала огромные архивы, которые позволили установить слежку за потенциальными оппозиционерами. Каждый раз, когда политическая обстановка требовала искупительных жертв, в их рядах проводились своего рода облавы.
Формально служба безопасности обладала своего рода монополией на политическую разведку. А вот исполнительной властью СД не располагала, поскольку находилась в структуре гестапо. Только гестапо имело право на аресты, допросы и обыски, а также право на превентивное интернирование, заключение в концлагерь и т. д. Однако службы гестапо всегда вели и собственную разведку, используя в то же время разведданные, получаемые от СД.
Разведывательная работа за границей, наблюдение за политической деятельностью эмигрантов, подготовительная работа к агрессии против других стран и создание «пятой колонны» в них, ведение идеологической войны, позволявшей вербовать союзников и агентов в тылу у противника, потребовали создания второй ветви СД, так называемой «СД-аусланд», или «секретной службы для заграницы». В этой службе числилось не более 400 постоянных сотрудников, вербовавших за границей платных помощников, а также многочисленных добровольных агентов.