Нам необходимо еще раз несколько подробнее остановиться на взаимоотношениях Канариса с гестапо и с Главным управлением имперской безопасности (РСХА) в целом и посмотреть, как они складывались и менялись в ходе войны. Мы уже рассказывали о том, что Канарис постоянно стремился поддерживать с Гейдрихом хорошие личные контакты. Тем не менее ни Гейдрих, ни Гиммлер никогда полностью не доверяли Канарису и абверу. Уже тогда между двумя ведомствами постоянно возникала напряженность из-за непрекращавшихся попыток Гейдриха расширить полномочия РСХА за счет компетенций абвера. Прежде всего его притязания были нацелены на 3-й отдел абвера, чья служебная деятельность во многом пересекалась с функциями гестапо. По настоянию Гейдриха на рубеже 1941–1942 гг. состоялись его переговоры с Канарисом, которого сопровождал начальник 3-го отдела полковник Бентивегни. От Главного управления имперской безопасности в переговорах также участвовали начальник IV управления (гестапо) группенфюрер Мюллер и еще два высших чиновника СД. На этой встрече Гейдрих без обиняков заявил, что вообще согласился на переговоры с Канарисом только потому, что идет война; после войны, мол, все функции абвера все равно перейдут к гестапо. Гейдриха как будто сильно удивило, что Канарис воспринял эти реплики не протестуя. Нас же, знающих мнение Канариса относительно исхода войны для Германии, его поведение вовсе не удивляет. На переговорах он использовал свой испытанный метод, для видимости идя навстречу пожеланиям Гейдриха. Стороны довольно быстро договорились. Гейдрих составил проект соглашения и переслал его шефу абвера. Через некоторое время Канарис передал в РСХА собственную редакцию соглашения, в которой принципиальные уступки существенно смягчались путем целого ряда отдельных оговорок. Реакция Гейдриха была необычайно резкой. В этих условиях, заявил он раздраженно, вести переговоры лично с Канарисом абсолютно бесполезно; он пригрозил обратиться непосредственно к Гиммлеру, отказываясь от дальнейших контактов с адмиралом. Когда Канарис сам пришел в РСХА, чтобы сгладить противоречия, Гейдрих отказался его принять. Почувствовав надвигающуюся опасность, Канарис обратился за содействием к Кейтелю. После телефонного разговора с начальником ОКВ встреча Гейдриха и Канариса состоялась, и на ней было достигнуто согласие по всем спорным пунктам. На этот раз спор о полномочиях с шефом РСХА закончился поражением Канариса. Это хорошо понимал и он сам.
Окончательная редакция договоренностей была оглашена в Праге в конце мая 1942 г. на совместном совещании высших должностных лиц гестапо, СД, уголовной полиции и сотрудников абвера, на котором присутствовали Канарис и Гейдрих, который являлся «имперским протектором» Богемии и Моравии. Выбор места совещания можно интерпретировать как стремление Гейдриха зримо продемонстрировать свою победу над абвером.
Таковыми в общих чертах были внешние проявления характера взаимоотношений Канариса и Гейдриха в начальный период войны. Они не позволяют однозначно установить, чем именно было вызвано недоверие Гейдриха к Канарису. Лежала ли в основе недоверия обычная неприязнь нацистского функционера и главного полицейского страны к беспартийному руководителю одного из ведущих ведомств вермахта, или же у Гейдриха имелись веские основания для подозрений. Из показаний штандартенфюрера СС и начальника отдела IV управления РСХА Хуппенкотена можно заключить, что гестапо долгое время не располагало достаточными компрометирующими материалами, позволяющими применить карательные меры против Бека, Канариса и Остера, вокруг которых группировались активные участники движения Сопротивления, еще задолго до войны готовившие государственный переворот. Как известно, после 1938 г. эти планы приняли вполне конкретную форму. Однако, по словам того же Хуппенкотена, у гестапо накопилось немало фактов, свидетельствовавших о зреющих в руководящих кругах вермахта планах свержения гитлеровского режима и о причастности к этому абвера.