Одновременно с этим решением Канарис получил ответ и на вопрос, который в 1937 г. впервые встал перед ним во весь рост: может ли он, не вступая в конфликт с собственной совестью, и дальше служить нацистам, не честнее и не целесообразнее ли не помогать больше Гитлеру и уволиться из вооруженных сил? Аналогичный вопрос задавали себе в те годы многие офицеры и чиновники, занимавшие высокие должности в Третьем рейхе. Некоторые просто отмахнулись от него, другим решение досталось тяжело. Канарису эта проблема на протяжении целых семи лет не давала покоя, пока смерть не подвела роковую черту. Она мучила его с короткими перерывами день и ночь, лишала душевного равновесия, не давала ему покоя, гоняя беспрерывно в последующие годы по «служебным командировкам» с места на место, из одной страны в другую. Он без колебаний отверг то, что в 1937 г. было бы удобным выходом из сложившейся ситуации, а добровольно оставить службу во время войны было уже значительно труднее, хотя, разумеется, шеф абвера, при всей его изворотливости, безусловно, сумел бы найти подходящий предлог, если бы счел нужным так поступить. Канарис не покинул абвер по двум причинам. Во-первых, он понял, что свергнуть преступный режим в состоянии только авторитетные лица, возглавляющие влиятельные ведомства в государственном аппарате и в вооруженных силах. И во-вторых, Канарис считал себя не вправе покинуть ключевой пост руководителя Управления военной разведки и контрразведки, так как не было гарантий, что его преемник сможет успешно защищаться от попыток гестапо взять эту спецслужбу под свой контроль. Видимо, сыграло свою роль и сознание необходимости обеспечить надежное прикрытие Остеру и молодым сотрудникам, вместе с которыми он вел партизанскую войну против НСДАП и СС.
Как логическое следствие такого решения, Канарис стал лично помогать Остеру готовить условия для ликвидации нацистского господства, налаживать контакты с другими группами Сопротивления. Остер постоянно держал его в курсе предпринятых им шагов. Остер, между прочим, сообщил, что с некоторых пор поддерживает постоянную связь с Ялмаром Шахтом, а также ведет активный обмен мнениями с группой чиновников министерства иностранных дел, в том числе с братьями Тео и Эрихом Кордтами, которые с согласия и под защитой фон Вайцзеккера стараются подготовить за рубежом почву для формирования будущего свободного от нацистов германского правительства. Невзирая на частые разочарования, Остер продолжал неустанно действовать, убеждая высокопоставленных генералов в том, что армия должна проявить инициативу в деле устранения Гитлера. Таким образом, партизанская война против наиболее дурных проявлений нацизма постепенно перерастала в борьбу с существующим режимом в целом.
Государственный переворот Остер готовил весьма основательно. Разрабатывая свои планы, он и его ближайшие помощники взяли за основу рекомендации, содержавшиеся в книге «Государственный переворот», опубликованной в 30-х гг. и запрещенной в Германии вскоре после прихода Гитлера к власти. (Ее автор скрывался под псевдонимом Малапарте.) Кроме того, группа Остера детально проанализировала причины неудач капповского и так называемого «пивного путча» (ноябрь 1923 г.). Остер не предусматривал начинать, как ранее Гальдер, а затем участники заговора 20 июля 1944 г., с убийства Гитлера, и Канарис, с которым Остер часто советовался, был с ним согласен. Предполагалось Гитлера арестовать и объявить душевнобольным. И Канарис, и Остер прекрасно сознавали, что успех государственного переворота возможен только при благоприятных сопутствующих обстоятельствах. Чтобы подорвать веру в Гитлера значительной части немцев, вовсе не приверженцев идей нацизма, нужно было наглядно продемонстрировать всю лживость его заверений о стремлении сохранить мир. Немецкий народ, который в подавляющем большинстве своем не желал войны, должен был понять, что Гитлер уже поставил Германию на грань войны с остальным миром и что его свержение имеет целью предупредить вооруженные конфликты. Участники Сопротивления вполне сознавали, с каким огромным риском связано ожидание того момента, когда воочию проявятся захватнические намерения Гитлера, но не видели другого пути избежать широкомасштабной гражданской войны во введенном в заблуждение нацистской пропагандой немецком обществе.
Во время планирования заговора несколько раз обсуждалась идея возможности и целесообразности в первой фазе переворота поставить во главе правительства Геринга. Было известно, что «железный», по крайней мере тогда, был настроен против войны, – это подтвердила позднее и его позиция при подготовке Мюнхенского соглашения 1938 г. Выдвижение Геринга задумывалось как промежуточная мера, имеющая целью в момент переворота расколоть нацистские ряды. Однако, тщательно взвесив все за и против, от этой идеи все-таки отказались.