В сложившихся условиях Гитлер мастерски разрубил казавшийся намертво завязанным узел. В апреле 1934 года между фюрером и военным министром был заключен политический союз. Бломберг от имени генералитета посулил канцлеру поддержку его кандидатуры в президенты после смерти Гинденбурга, а Гитлер пообещал раз и навсегда покончить с Рёмом. Еще до этого фюрер пытался решить назревавший внутри его партии конфликт мирным путем, для чего намеревался разоружить СА, сократить его на две трети, оставив ему лишь второстепенные военные функции и фактически подчинив армии, а в качестве компенсации сделать штурмовиков политическими воспитателями нации.
Эрнст Рём под натиском своих разгневанных сторонников на подобную капитуляцию пойти не мог и в узком кругу отвел душу, обозвав Гитлера «вероломным человеком» и «невежественным ефрейтором». Всерьез о заговоре против фюрера он, по всей видимости, не думал, ограничившись бахвальством, маршами СА и закупками оружия. Тем не менее, ощущая сжимающееся кольцо политической изоляции, Рём возобновил свои прежние контакты со Шлейхером. По мере приближения «ночи длинных ножей» тревожные слухи и всеобщая подозрительность усилились. Бывшего канцлера Брюнинга предупредили, что его жизни угрожает опасность, и он тайком уехал из Германии. Доброжелатели неоднократно предупреждали и Шлейхера, который на некоторое время уехал из столицы, но вскоре вернулся в Берлин, не пожелав стать «беглецом». Исходя из этих же соображений «серый кардинал» отклонил приглашение своего друга полковника Отта съездить на некоторое время в Японию.
Развязка наступила 30 июня 1934 года. В этот день под предлогом подавления готовящегося бунта штурмовиков отряды СС устроили массовую резню среди противников Гитлера. В ее ходе были убиты не только Рём и ближайшие его сподвижники из руководства СА, но и фон Шлейхер вместе со своим помощником фон Бредовом. Германский генералитет, в котором руководящую роль продолжали играть ученики Секта, был возмущен подлым убийством своего лидера. То же можно сказать и про абвер — военную разведку. Многие ее офицеры были возмущены особенно убийством Бредова, возглавлявшего абвер с 1928 по 1932 год и пользовавшегося в разведке большим авторитетом. Под их давлением военный министр Бломберг потребовал при встрече с Гиммлером уволить из СС Гейдриха, непосредственно отдавшего приказ о массовых расправах. Однако глава СС своего подчиненного в обиду не дал, объяснив все интригами абверовских офицеров. Впрочем, определенное недовольство военный министр мог позволить себе только в частной беседе, публично он всячески одобрял массовую резню как «действия по защите государства», а сам Гитлер, по утверждению Бломберга, в тот момент «действовал как государственный деятель и солдат». Фюрер мог торжествовать: благодаря убийству опасного «серого кардинала» потенциальная военная оппозиция была надолго обезглавлена, а последователи фон Секта остались без своего признанного главы.
Пока шла отмена версальских ограничений, создание массовой армии и ее активное перевооружение, между генералитетом и Гитлером, казалось, не было противоречий. Происходящее вполне отвечало заветным чаяниям обеих сторон. Разногласия начались, когда Гитлер стал проводить в жизнь свою внешнюю политику — слишком рискованную, по мнению генералов.
Первое столкновение произошло в 1936 году, когда Гитлер решил занять своими войсками демилитаризованную по Версальскому миру Рейнскую зону. Военный министр фон Бломберг, главнокомандующий сухопутной армией фон Фрич и начальник генерального штаба фон Бек в принципе не были против этого шага, но, опасаясь ответных военных мер Франции и Англии, полагали его несвоевременным. Лучше, чем кто-либо, они знали, что германская армия пока не готова к серьезной войне с Западом. Кроме того, все трое были учениками и поклонниками фон Секта и, помня прежний негативный опыт, закономерно страшились войны на два фронта — с 1935 года действовал пакт о взаимопомощи между Францией, СССР и Чехословакией. Гитлер отверг их возражения, но в конце концов руководителям армии удалось вырвать у него одну уступку: в случае начала военных действий противной стороной он даст германским войскам приказ отступить обратно за Рейн.
Хотя Запад и не посмел противодействовать этой рискованной акции Гитлера и его замысел увенчался полным успехом, тем не менее этот инцидент и выбитая генералами уступка показали фюреру, что руководство генералитета не полностью послушно его воле. Между тем за несколько лет пребывания у власти Гитлер уже привык к мысли о собственной непогрешимости (в очередной раз подтвержденной безболезненной милитаризацией Рейнской области) и подобострастной лести со стороны окружающих. Свой вклад в нагнетание напряженности вносила и конкуренция между армией и стремительно набиравшей силу СС.