В 1994–1998 годах Патрушев возглавляет Управление собственной безопасности ФСБ России, работает заместителем руководителя департамента — начальника организационно-инспекторского управления Департамента по организационно-кадровой работе ФСБ России. С мая 1998 — начальник Главного контрольного управления (ГКУ) Президента Российской Федерации. С 11 августа 1998 года до октября 1998 — заместитель руководителя Администрации Президента — начальник ГКУ. Сменил на посту начальника ГКУ Владимира Путина, назначенного первым заместителем руководителя Администрации. С 6 октября 1998 года до 1999 — заместитель директора ФСБ России. С апреля 1999 — первый заместитель директора ФСБ России. С 16 августа 1999 по 12 мая 2008 — директор ФСБ России. В октябре 1999 года избран председателем Совета руководителей органов безопасности и спецслужб СНГ.
На период руководства ФСБ Патрушевым приходятся самые масштабные террористические акты, потрясшие Россию. Не успели его утвердить в этой должности, как 4 сентября 1999 в Буйнакске (Дагестан) произошел взрыв начиненного взрывчаткой автомобиля, вызвавший разрушение жилого дома; 9 сентября 1999 — ночной взрыв жилого дома на улице Гурьянова в Москве; 13 сентября — взрыв жилого дома на Каширском шоссе в Москве; 16 сентября — взрыв жилого дома в Волгодонске. Организаторами взрывов были объявлены чеченские сепаратисты.
Как показали дальнейшие расследования, это действительно было делом рук чеченских боевиков. Но тогда маловразумительные толкования этих терактов самим Патрушевым и другими сотрудниками ФСБ вызвали серию публикаций в отечественных и зарубежных СМИ, авторы которых утверждали, что эти взрывы были организованы ФСБ. Самым сандальным стало дело о предотвращенном теракте в Рязани, где 22 сентября 1999 в Рязани жильцы одного из многоквартирных домов обнаружили минирование подвала неизвестными. Жильцы были эвакуированы, преступники объявлены в розыск.
Однако 24 сентября директор ФСБ Н. Патрушев заявил, что… минирование было учебным и проводилось сотрудниками ФСБ в целях тренировки бдительности. С этим делом связан еще один скандал.
19 марта 2003 Мещанский суд Москвы приступил к рассмотрению жалобы депутата Госдумы, бывшего директора ФСБ Сергея Ковалева на действия Н. Патрушева. С. Ковалеву было отказано в получении ряда документов, касающихся учений ФСБ в Рязани. Представитель ФСБ заявил суду, что материалы о проведении этих учений относятся к оперативно-розыскной деятельности и не подлежат огласке. Суд, тем не менее, потребовал у ФСБ представить план проведения учений в судебное заседание. Но весь этот скандал постепенно замяли — вновь о том, что "ФСБ взрывает Россию" объявил в книжке с таким названием один из ее авторов перебежчик из КГБ Литвиненко, вскоре погибший от отравления неким радиоактивным веществом.
Во время захвата заложников чеченскими боевиками в театральном центре на Дубровке в Москве 23–26 октября 2002, Патрушев входил в штаб по освобождению захваченных террористами людей. Увы, операция была проведена с большими накладками. Тогда вместе с террористами на Дубровке от отравления газом погибли и 129 заложников. Причем многих из них можно было спасти — не хватило квалифицированных врачей и машин скорой помощи. Патрушев к тому же запутался в цифрах — сначала утверждал, что уничтожены 34 боевика, потом — что "41 боевик во главе с Мовсаром Бараевым" (См. "Новые Известия", 17.12.02
). Многие СМИ предсказывали в те дни скорую отставку Н. Патрушева в связи с тем, что возглавляемая им ФСБ проглядела несколько десятков вооруженных бандитов, проникших в Москву, однако отставки не последовало. Мало того, 3 марта 2003 "Новая газета" сообщила, что Н. Патрушеву закрытым указом президента было присвоено звание Героя России за успехи в чеченской войне. (См. "Новая газета", 03.03. 2003)Террористы, тем не менее, продолжали наносить по России удар за ударом. 14 мая 2003 на религиозном празднике в селе Илисхан-Юрт три женщины-смертницы взорвали "пояса шахидов", в результате чего погибли 26 и были ранены 150 человек. 5 июня в Моздоке (Северная Осетия), женщина-смертница взорвала пояс шахида в автобусе, погибли 19 человек, ранены 12. 5 июля 2003 в Москве в Тушино подорвались две смертницы, 16 убитых, 40 раненых. 10 июля не удалась попытка взорвать кафе в Москве на Тверской, смертница арестована, при разминировании бомбы погиб сапер ФСБ.
1 августа 2003 в Моздоке террорист-смертник взорвал военный госпиталь, по официальным данным погибло 50 человек, 80 ранены (есть основания подозревать, что число пострадавших было занижено).
3 сентября 2003 террористы взорвали электричку Минеральные Воды — Кисловодск, пятеро погибших, более 50 раненых.