У Гиммлера были и личные причины поддерживать хорошие отношения с партийным кардиналом Борманом. В 1940 году шеф СС фактически порвал с женою Маргой, особой нервной и взбалмошной, и завязал любовные отношения со своей бывшей секретаршей Хедвигой Хёсхен Поттхаст, красивой девушкой, уроженкой Кёльна. Дочь торговца, родившаяся 6 февраля 1912 года, она после окончания мангеймской высшей торговой школы поступила в 1937 году на работу в секретариат рейхсфюрера СС в качестве секретарши. Хедвига произвела на него большое впечатление. Он хотел было развестись с женою, но так и не решился. Любовный роман имел свои последствия: в начале 1942 года Хедвига родила дочку Хельгу, а в 1944 году еще и Нанетту-Доротею.
Гиммлер попал в сложное положение. Он не мог более допустить, чтобы маленькая дочка жила с ее матерью в квартире, арендуемой у семьи Мюллеров в берлинском районе Штеглиц по улице Бисмаркштрассе, 48. Надо было найти для них дом, причем спешно, так как родители Хедвиги требовали, чтобы дочь прекратила свою связь с рейхсфюрером СС. Они считали, что Гиммлер, будучи женатым человеком, не должен был брать ее на содержание. Невестка Хедвиги Хильда Поттхаст, жена погибшего на Восточном фронте ее брата Вальтера, написала ей письмо: «Из-за родителей мне хотелось бы, чтобы ты поскорее вышла замуж. Боюсь, что у тебя с родителями примирения не будет. Но они простят тебя, если ты с ним расстанешься или же он освободится для тебя… Ведь он женат, и они видят во всей этой истории обман жены и неуважение к тебе. Твоя мать спрашивала, знает ли его жена о его связи, и я вынуждена была сказать, что, судя по моим сведениям, нет. Она расценила это как трусость с его стороны. Твои родители очень за тебя переживают…»
Гиммлер должен был приобрести дом, если не хотел потерять Хедвигу, но на какие средства? Хозяин империи СС, распорядитель заводов и фабрик, повелитель самого большого полицейского аппарата, личных капиталов не имел. И он вынужден был взять в партийной кассе кредит. Борман распорядился выдать ему 80 000 марок, на которые Гиммлер построил для Хедвиги домик у озера Кёнигсзее в районе Шёнау. Между Гиммлером и Борманом возник временный альянс, так как жившая в одиночестве любовница Гиммлера подружилась с женою Бормана Гердой, дом которой находился неподалеку.
Как и их жены, Борман и Гиммлер поддерживали тесные контакты между собой. Герда Борман даже написала своему мужу записку: «Папочка, можно с трудом себе представить, что бы могло произойти, если бы вы с Генрихом обо всем не побеспокоились. Фюрер ведь не может делать все сам. Поэтому вы должны держаться друг друга и проявлять взаимную заботу».
И Борман старался, заботясь, чтобы влияние «дядюшки Генриха» не переходило определенных границ, поддержав его даже тогда, когда тот впал в малодушие. Однако он устраивал ему головомойки за любую попытку критиковать шефа — Гитлера. Как-то Гиммлер пожаловался приятелю, что Гитлер бывает к нему несправедлив и он хорош лишь тогда, когда успешно формирует новые дивизии. Борман успокоил его, но в то же время предупредил, чтобы он не слишком критиковал Адольфа Гитлера. А своей жене Герде сказал: «У него невыносимо холодная критика. Что бы ни говорилось и ни делалось, фюрер остается фюрером! Что бы мы делали без него?»
Такому духовнику Гиммлер не хотел противопоставлять агрессивную мощь «черного ордена», пока не затрагивались существенные интересы СС. И он запретил любую критику в адрес партии.
Однако шеф СС недооценил степени тщеславия и рвения своих подчиненных, у которых не было личных причин отказываться от нападок на партию. Одним из них был Отто Олендорф, стоявший во главе СД внутренних районов страны и бывший самой противоречивой личностью в СС: с одной стороны, он приказал уничтожить 70 000 евреев, а с другой — выражал недовольство примитивностью власть имущих. Он так и остался загадкой для историков.
Друзья Олендорфа попытались даже изобразить его впоследствии как некоего сопротивленца, глашатая «позитивной оппозиции», как выразился Юстус Байер, один из районных партийных деятелей. Но они умолчали о том, что эта оппозиция не была добровольной, так как бригадефюрер СС Олендорф оказался скорее жертвой автоматизма, самим же им придуманного. Его идея заключалась в регистрации без всяких прикрас мыслей и поступков немцев, о чем он затем докладывал два-три раза в неделю в так называемых «сообщениях из рейха» высшему руководству. Естественно, что такая важная политическая область жизни народа, как партия и ее деятельность, не обходилась молчанием.