30 января 1936 г. Бергер вступил в СС, получив в тот же день билет № 275991 и чин оберфюрера. Первоначально он был зачислен в штаб оберабшнита СС «Юго-Запад», а 25 февраля того же года получил должность референта по спорту при этом штабе; эту должность он занимал до 1 апреля 1937 г. 1 октября 1937 г. Бергер был прикомандирован к Личному штабу рейхсфюрера СС. 1 июня 1938 г. Бергер назначен начальником Управления комплектования в составе Главного управления СС. С этого момента началась деятельность Бергера по созданию войск СС. Причем если новобранцев школил генерал Хауссер, то задачей Бергера стало предоставить тому же Хауссеру достаточное количество пушечного мяса. Командование вермахтом без всякого энтузиазма отнеслось к идее Гиммлера создать собственную армию. Поначалу разрешили вербовать добровольцев, а затем запретили принимать тех, кто по возрасту должен был быть призван в армию. Уже тогда Бергер обратил свое внимание на фольксдойче – немцев, проживавших вне Германии, но считавшихся этническими немцами, то есть чистыми в расовом отношении. Одновременно в августе 1938 г. он возглавил Спортивное управление Личного штаба рейхсфюрера СС. В конце 30-х гг. Бергер прошел стажировку в воинских частях и получил сначала 10 ноября 1938 г. чин ротмистра резерва 9-го кавалерийского полка (1938 г.), а затем и майора резерва (1939 г.). 20 апреля 1939 г. он был произведен в бригадефюреры СС (позже – уже во время войны 3 мая 1940 г. – он получил в дополнение также звание генерал-майора войск СС).
После того как германские войска оккупировали Польшу, Генрих Гиммлер 26 сентября 1939 г. поручил Бергеру (уже считавшемуся специалистом по вербовке фольксдойче) сформировать из немцев на оккупированных польских территориях «самооборону». Готтлоб с успехом выполнил порученное задание, и подконтрольные СС отряды «самообороны» вскоре вовсю свирепствовали в Польше, терроризируя местное польское население.
1 апреля 1940 г. Август Хейссмейер был снят с поста начальника Главного управления СС и его место занял Готлоб Бергер. Этот пост Бергер будет занимать до самого последнего дня Третьего рейха. Главное управление СС было в то время ведущим органом по управлению СС (в т. ч. кадры, право, администрация и др.), фактически после назначения Бергер стал одним из наиболее влиятельных руководителей всей системы СС. Подобное назначение вызвало удивление в руководстве СС. Действительно, зачем рейхсфюреру СС назначать на столь важный пост человека, который имел только чин бригадефюрера? Но, если разобраться, хороших администраторов в распоряжении Гиммлера было немного, и к этому времени большинство из них уже было при деле. Чтобы управлять огромной административной машиной СС, Гиммлеру нужны были профессионалы (он даже пытался переманивать их из армии, из СА, из министерств), а Бергер уже хорошо зарекомендовал себя и в Польше, и при формировании первых частей СС. Позже Главное управление СС претерпело ряд реорганизаций, но в целом его функции остались прежними – главные потери компетенции оно понесло при прежнем руководителе, при Бергере лишь ощущались последствия деятельности предшественника – Августа Хейссмейера.
Заняв новый высокий пост, Бергер развернул широкомасштабную вербовку добровольцев в войска СС, не останавливаясь для привлечения сюда даже уголовников. Причем здесь он был не просто исполнителем, а именно инициатором – причем ему пришлось на этой стезе преодолевать сопротивление ряда крупных функционеров СС (да и в ряде случаев самого рейхсфюрера), считавших, что нельзя «загрязнять» расово чистые войска СС фольксдойче с не слишком понятным происхождением, не говоря уже о добровольцах из других европейских – пусть и считавшихся германскими – стран. Однако Бергеру удалось убедить Гиммлера в своей правоте и заручиться его поддержкой.