Весной 1930 года, после окончания учебы, перед тем, как вернуться в Бухарест, Черняк обратился к одному из представителей КПГ с просьбой связать его с румынскими коммунистами. Но немецкий товарищ вместо этого предложил Яну совсем другое: познакомить его с человеком из России. Они встретились в берлинском кафе и, после недолгой беседы, Ян согласился помогать советской разведке. Было это в июне 1930 года. С этого дня судьба Черяняка оказалась надолго связана с Разведупром, а наша разведка получила одного из своих лучших резидентов.
Чтобы получить высшее образование в Румынии, Черняк не вышел профилем, но для службы в румынской армии он оказался достаточно хорош. Вскоре после возвращения его призвали на службу. Если бы он был румыном, то с таким образованием попал бы на офицерские курсы. А так ему светила служба, пожалуй, лишь в пехоте. И тогда Ян дал первую в своей жизни (но не последнюю! ) взятку. Коробка шоколадных конфет и 5 долларов обеспечили ему место в школе сержантов, после окончания которой он стал писарем в артиллерийском полку, получив непыльное место службы и… возможность передавать своему куратору из Разведупра секретные документы. Кстати, его карьера разведчика чуть было не окончилась, едва начавшись. Его связника арестовала служба безопасности, но она (это была девушка) не выдала Яна. Через год, срок его службы окончился, и Черняк снова отправился в Берлин и Румынию больше никогда не возвращался.
В Берлине Ян восстановил связь с советской разведкой и приступил к организации своей первой небольшой группы, которая добывала военную и военно-техническую информацию. Хорошее инженерное образование и высокая эрудиция, обаяние и коммуникабельность, дисциплинированность и осторожность делали его почти идеальным резидентом. Только в одном он отступал от правил конспирации: в то время нашим разведчикам предписывалось как можно меньше пользоваться помощью братских коммунистических партий. Черняк же пользовался их помощью достаточно широко. (Случай не редкий для наших резидентов того периода. Так, например, весной 1930 года, в Австрию главным резидентом был направлен Иван Винаров («Март»). В Москве Винарова инструктировал Берзин, который предостерег резидента от «всяческих контактов с членами коммунистических организаций и их руководством» и посоветовал опираться на «содействие честных, прогрессивно мыслящих людей». Но «Март», прибыв в Вену, так же как и Черняк, приступил к созданию своей сети именно с помощью местных коммунистов и политэмигрантов.
Начало 30-х годов было для нашей разведки временем тяжелых потерь, когда «сыпались» старые опытные резиденты. Но молодой начинающий разведчик работал без провалов. Позднее, на вопрос, как ему удавалось избегать ловушек контрразведки, Черняк ответил: «Я не нарушал требований конспирации. Всегда помнил, чем может закончиться для меня встреча с контрразведкой. А поэтому никогда не посещал публичные дома, спортивные соревнования, где часто проводились облавы и проверки документов, не нарушал местных законов, чтобы не привлекать к себе никакого внимания… Этому учил и своих помощников„. Конспирация основа работы, но это ещё не всё. Как говорил профессионал военной разведки В. С. Евенко, «разведчику, кроме всего прочего, нужно ещё и обыкновенное везение“.
В начале 1935 года над Черняком, хотя и не по его вине, нависла опасность. Бельгийской контрразведкой был арестован человек, знавший Яна по партийной работе в начале 30-х годов. Черняк доложил об этом резиденту, с которым был связан. И получил приказ: немедленно выехать в Прагу. Но он давно мечтал пройти курс обучения в Международной Ленинской школе, и вместо Праги в тот же вечер отправился в Москву. Однако, в ленинскую школу он так и не попал — его направили совсем в другое место: в Школу Разведупра. После ее окончания Черняка принял начальник военной разведки Ян Берзин и поставил перед ним задачу — организовать резидентуру для работы по Германии, действующую с территории другой страны.
После разговора с Берзиным Черняк выехал в Швейцарию — первый «пункт назначения» загранкомандировки, которая планировалась, как обычно в то время, на один-два года, а продлилась десять лет.
Добирался к цели он долго, кружным путем, через несколько стран. Первый экзамен ему устроила Вена. В гостинице у него попросили паспорт. У Черняка было два паспорта, во всем одинаковых, кроме одного: в том, которым ему надлежало пользоваться, не было советской визы. Этот паспорт находился в тайнике, в чемодане. Что делать? Вскрывать тайник в холле отеля? Заполнив анкету, разведчик отдал ее портье и соверешнно спокойно сказал, что паспорт у него в чемодане. Сейчас он поднимется в номер, распакует вещи и спустится с паспортом вниз. Вторая трудность возникла в консульстве: ему не хотели давать французскую визу, предложив отправиться за ней… в Берлин, место выдачи паспорта. Пришлось давать взятку, после которой денег осталось только на билет третьего класса.