Казалось бы, в идеи Виллигута невозможно поверить. Но факт остается фактом: «сумасшедший полковник» просто околдовал Гиммлера и его окружение. «Аграрный папа» Вальтер Дарре писал в своем дневнике:
Падение Виллигута было столь же стремительным, как и взлет. В феврале 1939 года Карл Вольф, адъютант Гиммлера, проинформировал служащих структуры, которую возглавлял «сумасшедший полковник» (Отдел РАШ Главного управления СС по вопросам расы и поселений), что она распущена, а ее шеф уволен на основании собственного прошения. Несколько дней спустя Генрих Гиммлер попросил Виллигута вернуть эсэсовские кольцо, кинжал и шпагу. 28 августа 1939 года Карл Виллигут был официально выведен из состава СС. Официальная версия объясняет причины внезапной опалы тем, что на стол к рейхсфюреру попали документы, в которых подробно рассказывалось о пребывании Виллигута в психиатрической лечебнице. Так закатилась звезда главного эксперта по древним религиям. Впрочем, некоторые его безумные инициативы продолжали жить и развиваться, поглощая немалые средства. Пожалуй, самый значительный проект Виллигута – возведение «орденского» замка, который должен был стать центром идеологической подготовки высшего командного состава СС, Замок Вевельсбург (Wewelsburg) представлял собой массивное треугольное сооружение, построенное в XVII веке на месте старой крепости.
Первое упоминание о нем относится к 1123 году – граф Фридрих фон Арнсберг решил возвести на месте саксонских оборонительных валов каменный замок. Однако уже в следующем году граф скончался, и начатые постройки были разрушены местными крестьянами. Некоторое время территория принадлежала семейству графов фон Вальдек, которые восстановили разрушенное, а позже передали половину замка рыцарю Бертольду фон Бюрену. Замок переходил из рук в руки, пока не был окончательно выкуплен архиепископом Теодором фон Фюрстенбергом. В начале XVII века он придал замку его сегодняшний облик: три мощные башни, которые составляют с высоты птичьего полета почти равнобедренный треугольник. В 1646 году стены и башни замка понесли тяжелый ущерб от огня шведской артиллерии. Только спустя десять лет после завершения Тридцатилетней войны, разрушения были устранены, а на башнях замка появились барочные купольные крыши. В январе 1815 года северная башня (Dicke Turm) выгорела вследствие удара молнии. Перед Первой мировой войной начался ремонт крыш, что несколько затормозило дальнейшие превращение замка в руины. В 1924 году глава местного правления (ландрат) запросил вышестоящую инстанцию о возможности реконструкции замка с целью создания туристической базы. Разрешение властей и пожертвования позволили начать восстановительные работы. Их остановил разразившийся экономический кризис, и Вевельсбург вновь пришел в запустение.
Судьба замка резко изменилась, когда 3 ноября 1933 года, во время своего первого визита туда, Генрих Гиммлер принял решение использовать Вевельсбург в качестве Имперской школы руководителей СС. Входе переговоров с владельцами Гиммлер договорился взять замок и прилегающие территории в аренду на сто лет за символическую плату: одна рейхсмарка в год. Еще до подписания договора на территории Вевельсбурга начались строительные работы. Только до конца марта 1934 года предполагалось израсходовать 145 тысяч рейхсмарок.
С первых шагов по восстановлению и расширению замка Вевельсбург было понятно, что он имеет особое значение для
Генриха Гиммлера. Речь не шла о том, чтобы замок стал школой СС или учебным замком НСДАП – в планах не было предусмотрено никакого оборудования учебных залов, а наличествовали лишь маленькие помещения, которые должны были служить руководителям СС в качестве жилых комнат и мест для мировоззренческих размышлений. Вызвало затруднения и единое для всех название проекта, он фигурировал в документах как: «Расовая школа СС», «Школа руководителей СС», «Школа мировоззрения СС», «Школа рейхсфюрера СС», «Школа-пансион СС Вевельсбург» и тому подобными.