Через 8 месяцев Азеф вернулся в Россию. Он приступил к работе в петербургском филиале Компании электрического освещения, но поссорился с директорами и ушел со службы. С этого момента Азеф стал вести жизнь профессионального революционера. Он курсировал между Парижем, Берлином, Женевой, часто наезжал в Россию. В Петербурге он общался напрямую с директором Департамента полиции А.А. Лопухиным. Главным его руководителем оставался Ратаев, назначенный заведующим заграничной агентурой.
Азеф старался дать общую картину антиправительственного движения. В сентябре 1904 г. он в качестве делегата парижской конференции оппозиционных партий заседал вместе с П.Н. Милюковым и П.Б. Струве. Нечего и говорить, что Департамент полиции получил исчерпывающую информацию об этом форуме. Азеф доносил о разногласиях между социал-демократами. В его письмах мелькали имена Г.В. Плеханова, В.И. Ленина, Л.Д. Троцкого. В результате указаний Азефа был арестован ряд видных эсеров. Он приложил немало усилий, чтобы навести полицию на след Хаима Левита, выведал маршрут его поездки и дал совет: «По-моему, взять его на границе, а то он, вероятно, исчезнет». Азеф телеграфировал, под каким именем едет в Россию эсер С.Н. Слетов и какие явки он имеет в Петербурге. Мария Селюк не избежала тюремной участи. Теперь она была не нужна Азефу, и он рекомендовал арестовать ее.
Наибольшую ценность для тайной полиции представляли сведения о террористических актах, являвшихся своеобразной визитной карточкой эсеров. Согласно полицейским источникам, Азеф способствовал предотвращению покушений на иркутского генерал-губернатора графа Кутайсова, бакинского губернатора князя Накашидзе, нижегородского генерал-губернатора барона Унтербергера.
В августе 1905 г. уходивший в отставку Ратаев передал Азефа заведующему политической частью Департамента полиции П.И. Рачковскому. Через некоторое время он перестал получать инструкции и деньги от нового начальника. Его не использовали в самый напряженный момент конца 1905 — начала 1906 г.
Зато после перерыва контакты Азефа с полицией стали необычайно интенсивными. Произошло это благодаря начальнику Петербургского охранного отделения Александру Васильевичу Герасимову. Он был выходцем из купеческой семьи, его образовательный ценз ограничивался провинциальным юнкерским училищем. Но природная сметка позволила Герасимову стать одним из лучших жандармских офицеров. В феврале 1905 г. он был переведен из Харькова в Петербург и взялся за исправление порядков, которые называл «карикатурой на тайную полицию», а менее чем за полтора года получил два внеочередных звания, стал генерал-майором. Департаментские чиновники невзлюбили его за привычку докладывать о розыскных делах непосредственно министру. Герасимов платил им той же монетой, что заметно по его воспоминаниям о первой встрече с Азефом.
Филеры охранного отделения выследили группу подозрительных лиц, причем в руководителе один из старых агентов опознал секретного агента Филипповского, которого ему когда-то показал Евстратий Медников. Начальник охранного отделения запросил Рачковского, но тот отвечал, что у Департамента полиции нет такого осведомителя. Герасимов приказал незаметно арестовать подозрительного человека. Задержанный категорически отрицал факт службы и только после нескольких дней, проведенных в одиночной камере, попросил пригласить для разговора заведующего политической частью. Герасимов вспоминал, что после его телефонного звонка Рачковский, «как обычно, притворился ничего не ведающим и завертелся: что да как и в чем именно дело? Какой это может быть Филипповский? Я не могу припомнить. Разве это Азеф?»
Так Герасимов впервые услышал эту фамилию, а через четверть часа стал свидетелем бурной сцены. Рачковский разлетелся к агенту со своей обычной сладенькой улыбочкой: «А, мой дорогой Евгений Филиппович, давненько мы с вами не виделись». В ответ он услышал площадную брань. Азеф упрекал Рачковского в том, что тот бросил его на произвол судьбы. По признанию Герасимова, в глубине души он негодовал на «бессовестное» поведение руководителя политического сыска, все его симпатии были на стороне брошенного агента. С этого дня начальник охранного отделения не выпускал Азефа из поля зрения. Между платным осведомителем и жандармским генералом установились доверительные, едва ли не товарищеские отношения. На частной квартире начальника отделения происходили регулярные беседы. «Именно Азеф, — вспоминал Герасимов, — дал мне настоящее знание революционного подполья, особенно крупных его представителей».