В 1925 году Серебрянский был отозван из Яффы и направлен нелегальным резидентом в Париж. Перед этим он передал свою палестинскую агентуру на связь резиденту ИНО ОГПУ в Константинополе Гольденштейну. Вскоре Гольденштейн был направлен в Берлин, откуда продолжал руководить агентурной сетью.
Однако в Москве посчитали такое положение вещей нецелесообразным. Было решено создать самостоятельную нелегальную резидентуру в Константинополе, которая бы руководила разведывательной работой на Ближнем Востоке. Летом 1928 года начальник ИНО ОГПУ Меер Трилиссер вызвал к себе Блюмкина и дал ему задание —. выехать в Турцию и в течение года организовать агентурную сеть в Палестине и Сирии. Задачей резидентуры было, как и прежде, сбор информации о политике Англии и Франции в этом регионе и проникновение через Аравийский полуостров в Калькутту и Бомбей.
Приступив к выполнению задания, Блюмкин пришел к выводу, что его старое прикрытие — прачечная в Яффе — более не подходит для эффективной работы. Поэтому, узнав, что венский комиссионер Якоб Эрлих ищет делового партнера для организации торговли древнееврейскими книгами, он решил организовать в качестве «крыши» в одном из палестинских городов торговое предприятие по продаже якобы вывезенных из СССР контрабандой редких еврейских фолиантов.
В июне 1928 года Блюмкин представил Трилиссеру план создания резидентуры в Константинополе. Обосновывая выбранное им прикрытие, он, в частности, писал:
Что касается собственно резидентуры, то она по замыслу Блюмкина должна была состоять из пяти человек: резидент Блюмкин (Живой), действующий под видом персидского купца, помощник резидента Лев Абрамович Штивельман (Прыгун), курьер — жена Штивельмана Нехама Манусовна (Двойка) и Марк Исаакович Альтерман, тесть Штивельмана, специалист по скупке и продаже древнееврейских книг. Место пятого члена резидентуры пока было вакантным.
Согласно плану Блюмкина, супруги Штивельман должны были выехать в Палестину, а Альтерман временно остаться в Москве для закупки и изъятия необходимых книг. Связь предполагалось осуществлять через курьеров или при помощи телеграмм на подставные адреса в Москве, Баку и Константинополе. Были также тщательно разработаны условия встреч резидента с курьерами в Константинополе, Риме и Париже.
Предложенный Блюмкиным план был одобрен руководством внешней разведки. После этого в Москве, Ленинграде, Одессе, Ростове и других городах развернулась работа по изъятию древнееврейских книг. В середине сентября 1928 года для Блюмкина был изготовлен персидский паспорт на имя купца Якуба Султанова, а также подготовлена первая партия книг.
В начале октября 1928 года Блюмкин выехал из Одессы в Константинополь, снял там помещение под офис и заказал необходимые для работы бланки и печати. Получив первую партию денег, он разместил ее в турецких банках, после чего принялся устанавливать контакты с константинопольскими торговцами и раввинами. Он также разослал письма в крупные английские, французские и немецкие антикварные фирмы и предложил им свои услуги в качестве представителя на Ближнем Востоке.