У не всегда сдержанного и прямолинейного Калугина не сложились отношения с Крючковым, о котором он в узком кругу отзывался как о «сером безликом карьеристе». Со своей стороны, Крючкову очень не нравилось, что у Калугина были хорошие отношения с Григорием Григоренко, бывшим (до Калугина) начальником управления «К» ПГУ, который теперь стал начальником Второго главного управления КГБ. Крючков рассматривал дружбу этих двух людей как угрозу своему полному контролю над ПГУ. Так называемая «старая гвардия» главка считала Калугина человеком с авантюристическими наклонностями и повадками «плейбоя», что в итоге делало непредсказуемым его поведение. Поэтому, когда в ПГУ поползли слухи о том, что не только «Кук», но и сам Калугин был американским агентом, Крючков ничего не предпринял, чтобы их прекратить.
В этой ситуации Калугин снова попытался заручиться поддержкой Андропова. Тот посоветовал Калугину не обострять ситуацию и предложил ему определенное время поработать в Ленинграде, где он мог бы расширить свой оперативный кругозор, пополнив его опытом работы во внутренней контрразведке. Калугину не оставалось ничего, как согласиться, и в декабре 1979 года он выехал в Ленинград, став первым заместителем руководителя КГБ области, штат которого насчитывал несколько тысяч офицеров. Приняв предложение Андропова, Калугин рассчитывал вернуться в Москву через год. Но у Крючкова на этот счет было свое мнение, а продолжающаяся критика Калугина в его адрес только играла Крючкову на руку. Обосновавшись в бывшей столице Российской империи, Калугин был поражен степенью неэффективности органов внутренней контрразведки. Вначале он думал, что его статус и опыт работы будут способствовать реализации его критических замечаний и предложений по совершенствованию работы. Но все получилось с точностью до наоборот, несмотря на его обращения в партийные структуры области и даже личное письмо М. Горбачеву, избранному в 1985 году генеральным секретарем ЦК КПСС, в котором Калугин обращал его внимание на чрезмерную роль КГБ в политической жизни страны.
В течение последующих нескольких лет у Калугина все больше обострялись отношения с властями. Одновременно он устанавливал и расширял связи с другими критиками советского режима, в частности с Александром Яковлевым, с которым он когда-то вместе стажировался в Колумбийском университете. В свое время Яковлев работал в аппарате ЦК КПСС, фактически возглавляя отдел пропаганды. Это продолжалось до 1973 года, когда он опубликовал статью, резко критикующую проводимую в стране политику антисемитизма. Сразу после публикации он был отправлен послом в Канаду, что рассматривалось как «ссылка» и отлучение от центральных органов власти. Яковлев пребывал в этом вакууме до тех пор, пока Горбачев — в то время набирающий силу член Политбюро — не познакомился с ним во время своего визита в Канаду. Вскоре он вернул Яковлева в Москву, назначив его директором престижного Института мировой экономики и международных отношений (ИМЭМО) Академии наук СССР. К 1987 году благодаря своему покровителю Яковлев был уже полноправным членом Политбюро и главным идеологическим «гуру» Горбачева.
Калугину также удалось завязать тесные отношения с окружением Бориса Ельцина — в то время харизматического партийного босса Москвы, а вскоре после республиканских парламентских выборов в 1990 году — номинального руководителя Российской Федерации. Тем не менее, несмотря на активные маневры Калугина с целью вернуть свои утраченные позиции, старая система сопротивлялась новым настроениям в обществе и все еще сохраняла возможности с ним посчитаться. Крючков добился того, чтобы Калугин продолжал работать в Ленинграде, где он пробыл в общей сложности семь лет — до 1986 года.
Анатолий Киреев, сменивший Калугина на посту начальника управления «К» ПГУ после отъезда того в Ленинград, очищая, так сказать, вверенное ему подразделение от «калугинской скверны», составил список сотрудников управления, якобы так или иначе близких опальному генералу. В этом списке была и моя фамилия. Хотя в тот период это обстоятельство не сказывалось серьезно на моей работе, тем не менее факт моего знакомства с Калугиным будет с этого времени влиять на отношение ко мне руководства ПГУ.