По мере развития событий все очевиднее становилась правота Канариса, пессимистически оценивавшего возможность решающих перемен к лучшему путем государственного переворота. Ослабли контакты и с оппозиционерами, собравшимися вокруг Бека. Инициатива постепенно перешла в руки молодых штабных офицеров, среди которых особенно выделялся полковник граф Штауффенберг и у которых были несколько иные идеи относительно спасения Германии, чем у «гражданских» лиц, тяготевших к Остеру. Они не придавали значения – и совершенно напрасно, как оказалось впоследствии, – некоторым важным элементам, содержавшимся в тщательно продуманных и проработанных планах Остера и его сторонников. Да и политические намерения Штауффенберга и окружающих его лиц были Канарису чужды. Но он продолжал с прежней настойчивостью защищаться от наскоков РСХА и по собственной инициативе предпринимал конкретные шаги, вроде, например, уже описанного эпизода с предупреждением генерала Аме в Венеции. Иногда в эти недели и месяцы у него возникало страстное желание бросить все и выйти из борьбы, не имевшей ни малейших шансов на успех. Но Канарис старался не поддаваться минутной слабости. Он твердо придерживался собственной заповеди, которую в начале войны изложил «дяде Мау», вручая ему подарок – роман «Цусима» Франка Тисса. Тогда он, в частности, имея в виду командующего Балтийским флотом адмирала Рожественского, сказал: «Видите ли, этот человек повел свою эскадру, зная, что правительство при подготовке к походу его обмануло, что вскоре после отплытия государство предаст его и осудит, что за его спиной провернули немало махинаций с поставками и что уже собралась орда, готовая пригвоздить его к позорному столбу. Будучи классным специалистом, он прекрасно понимал, что плывет с небольшой эскадрой и плохо обученной командой, понимал, что ему не выстоять в морском сражении с современным японским флотом и никогда больше не видать любимой родины. Он плыл ради России, несмотря ни на что и вполне сознательно. Я, как профессиональный военный, участвую в войне ради Германии и останусь на своем посту, чтобы не допустить на это место кого-нибудь из своры преступников и убийц, только и ждущих удобного момента».
Стремление не дать Кальтенбруннеру, Мюллеру и Шелленбергу завладеть абвером и поистине безграничными возможностями этой организации заставляло его не сдаваться и продолжать борьбу, хотя он ясно сознавал, что время его Цусимы, когда ему и абверу, как самостоятельной организации, придет конец, неумолимо приближалось.
В январе 1944 г. произошел случай, снова едва не задевший Канариса. Арестовали членов кружка вдовы бывшего посла Золфа, в который сумел проникнуть агент гестапо. В числе арестованных оказался и бывший посланник О. Кип, с начала войны работавший в управленческой группе «Аусланд». СД было известно, что члены кружка поддерживали связь с проживавшим в Швейцарии бывшим германским рейсхканцлером Карлом Йозефом Виртом, а также с бывшим начальником Генерального штаба опальным Гальдером. Гестапо также узнало, что сотрудник группы «Аусланд» Гельмут фон Мольтке и капитан Гере из 3-го отдела абвера предупредили членов кружка о том, что их телефоны прослушиваются. Об этом капитану Гере сообщил его приятель, морской офицер, служивший в «Научно-исследовательском институте» Германа Геринга. Таким образом, можно не сомневаться: Кальтенбруннер, Мюллер и Шелленберг прекрасно знали, что в абвере оставались люди, продолжавшие им противодействовать. Но и теперь они не решились на лобовую атаку против Канариса; воздержался даже честолюбивый Шелленберг, стремившийся во что бы то ни стало сосредоточить в своих руках органы политической и военной разведки.
Причиной падения Канариса стало само по себе далекое от Берлина событие. Работник турецкого филиала абвера доктор Эрих Вермерен вместе с недавно приехавшей к нему женой, графиней Плеттенберг, неожиданно перешел на сторону англичан. Как утверждало гестапо, Вермерен передал противнику важные секретные сведения. Супружеская пара официально заявила, что религиозные убеждения не позволяют им дальше служить Гитлеру и возвратиться в Третий рейх. Кроме того, жена Вермерена была близка антинацистским католическим кругам и, дескать, в Германии не могла чувствовать себя в безопасности. Сообщение о побеге супругов Вермерен наделало много шума как в Турции, так и за ее пределами. Между прочим, пример оказался заразителен. Вскоре на сторону противника перешли муж и жена Клещовски, работавшие в Турции по линии 3-го отдела абвера, и секретарша сотрудника гестапо при немецком посольстве в Анкаре, получившая предписание вернуться в Берлин и укрывавшаяся в американском посольстве.