Чтобы усилить разрушительный эффект во всех флигелях замка было решено устроить пожар, предав огню все, что только могло гореть. В 16 часов, когда были установлены взрывные заряды и приготовлены фаустпатроны, раздалась команда: «Поджигай». Через несколько минут большая часть замка и соседних зданий была охвачена пламенем. Священник Туш вспоминал о тех событиях: «Я зазвонил в набат, подъехала пожарная команда, сбежалась вся деревня. Около 16 часов начался подрыв замка. Штабное здание лежало в руинах, административный корпус полыхал, отдельные взрывы были мощными, но с нашей церковью почти ничего не случилось. От взрывов в ней лишь выбило окна и кое-где пошли трещины. Сильнее всего оказалась поврежденной крыша, да с колокольни сорвало весь шифер. Но само здание продолжало стоять». Чтобы огонь не смог распространиться на церковь, родильный дом (оба здания принадлежали СС) и несколько близлежащих строений Махер позволил местной пожарной команде предпринять только самые простые меры безопасности. Когда в 17 часов саперная команда СС покинула Вевельсбург, замок был полностью объят огнем. После этого в деревне, кроме местных жителей, осталась пара эсэсовцев, в том числе адъютант коменданта разрушенного замка, члены семей служащих Вевельсбурга и несколько других личностей, например начальник переселенческого лагеря ФОМИ. Около 18 часов группа под командованием Хайнца Махера без проблем смогла достигнуть Падерборна, где Махер вновь встретился с Зигфридом Таубертом. После этого Махер в срочном порядке направился в Бад-Майнберг, где располагался командный пункт дивизии. Оттуда он должен был передать сообщение Генриху Гиммлеру. Но рейхсфюреру СС показалось мало полученного сообщения. По этой причине 1 апреля 1945 года Махер должен был лично встретиться с Гиммлером.
Между тем в Падерборн были подвезены члены семей служащих СС, которые еще некоторое время назад оставались в Вевельсбурге. Обершарфюрер СС Фриц Каррисмайер так вспоминал об этих событиях: «Один из солдат принес мне радостное известие, что почти все женщины смогли выехать из деревни. Я не мог найти себе места, пока эти три машины с женщинами не прибыли к нам. В предвечерний час мы увидели первую машину. Итак, мы вновь могли быть вместе с нашими семьями. Я отдал моей жене два шерстяных одеяла, чтобы она могла согреть нашего маленького сына, которому было всего лишь семь месяцев. Вечером караван из машин направился в направлении Франкенхаузена… На место мы прибыли утром второго Пасхального дня».
Что же в то время происходило в Вевельсбурге? Окончательное оставление Вевельсбурга частями Ваффен-СС вызвало в замке настоящую «бурю» — в нем начался форменный грабеж. В этом действе принимали участие почти все: местное сельское население, переселенцы из числа фольксдойче, беженцы, пострадавшие от многочисленных бомбардировок, заключенные концентрационного лагеря, которым фактически была предоставлена свобода. Каждый хотел вынести из замка хоть что-нибудь представляющее ценность. В настоящий момент очень сложно составить точную опись того, что было похищено из замка. Это была мебель, ковры, предметы искусства, запасы вина, серебряные столовые приборы, посуда, белье и т. д.
На пути к винным погребам замка, в которых, по некоторым сведениям, хранилось около 40 тысяч бутылок вина и шампанского, происходили самые невероятные сцены. Люди шли в вине буквально по пояс, так как лестница в западной башне, которая вела к винным подвалам, была настолько узкой, что пройти по ней вверх или вниз, не разбив нескольких бутылок, было фактически невозможно. Хроника общины Вевельсбург оставила описание этих непривлекательных сцен: «Разгорались форменные сражения с применением грубой физической силы. Шум драк и ругательства звучали до самого утра Пасхи».
Взрывы и пожар, случившиеся в субботу, очень сильно повредили здание замка. В пасхальное воскресенье пожар начался с новой силой, фактически уничтожив все то, что не пострадало накануне. Причины возникновения второго пожара не установлены до сих пор. Между тем многие из местных жителей склонялись к версии, что это был преднамеренный поджог. Когда в понедельник, 2 апреля 1945 года, американские части вошли в Вевельсбург, от величественного замка почти ничего не осталось.