В Харбине Василий Петрович проработал до ноября 1930 года и был направлен в центральный аппарат разведки в Москву. Его принял А.Х. Артузов и в начале 1932 года назначил заместителем начальника отделения. Здесь он занимался обеспечением документации для разведчиков-нелегалов и конспиративной связи с ними.
Именно эта работа и стала его основной задачей, когда летом 1932 года Василий Петрович прибыл в берлинскую резидентуру. Объясняя причины, по которым он был направлен с такой задачей именно в Германию, Рощин позже вспоминал: «В то время считалось, что войну против нас развернут страны Антанты. В Германии же существовала Веймарская республика, и режим в стране позволял развернуть нашу работу, в том числе по паспортно-техническому делу и связи». К реализации этой задачи Василий Петрович приступил с присущими ему ответственностью и тщательностью.
Круг обязанностей В.П. Рощина в резидентуре, однако, был шире. Он вел активную работу с ценными агентами, изучал кандидатов на вербовку.
В.П. Рощин внимательно следил за внутриполитическим положением в Германии и часто спрашивал себя, а в достаточной ли мере мы видим угрозу со стороны фашизма. Эти мысли занимали его еще перед отъездом в Берлин. В напутствиях руководителей ИНО подчеркивалось, что на Советский Союз могут напасть страны Антанты, причем, возможно, очень скоро. Угроза со стороны Англии и союзников в те годы действительно была реальной. Даже германское правительство фон Папена рассчитывало присоединиться к странам Антанты в их походе против России и ратовало за союз с ними. Но с приходом Гитлера к власти источник непосредственной угрозы для СССР изменился. Попав в страну и оказавшись непосредственно в гуще политических событий, Василий Петрович все больше приходил к выводу, что именно Германия становится основным потенциальным противником. В информации берлинской резидентуры о предстоящем приходе Гитлера к власти, возникновении нового источника опасности для нашей страны немалая заслуга и В.П. Рощина.
В то же время разведчик видел, что даже среди нацистских активистов в тот период встречались люди, которые, по крайней мере на словах, выдавали себя за друзей СССР. Василий Петрович считал, что это создавало возможность установления с ними доверительных и даже агентурных отношений. «Были десятки случаев, особенно в 1932–1934 годах, — вспоминал позже Рощин, — когда можно было завязать и установить с активными перспективными нацистами такие отношения, но мы их использовали не всегда».
Жизнь подтвердила опасения разведчика, показав, что фашистская Германия действительно превратилась в главную угрозу для Советского Союза. Работать резидентуре становилось все труднее, возник вопрос о необходимости вести работу по Германии из других стран. Именно в этот момент, в мае 1935 года, В.П. Рощина из Берлина переводят в Австрию в качестве резидента. Теперь ему предстояло проникать отсюда в нацистские круги Германии и получать информацию об их замыслах. Доставшееся от предшественников агентурное «наследство» оказалось весьма слабым для решения такой задачи, и Василий Петрович с присущей ему скрупулезностью и настойчивостью начал поиски новых возможностей. За время работы в Вече — с 1935 года до аншлюса Австрии в 1938 году — ему удалось приобрести ряд источников, которые обеспечивали Центр информацией о внутриполитической обстановке в Австрии, а также о политических и военных приготовлениях нацистской Германии к присоединению Австрии.
Наиболее ценными из них были сотрудники Главной дирекции общественной безопасности ведомства федерального канцлера и органов политической полиции. Приобретение одного из них — «Наездника», как позже вспоминал Василий Петрович, было «первым и наиболее сложным». Во-первых, он был выходцем из чуждой среды, связанным с враждебными кругами; во-вторых, имел сумбурные идеологические воззрения: то высказывался в прокоммунистическом духе, то в пронацистском. Профессиональный опыт и чутье Рощина позволили после тщательного изучения «Наездника» подобрать к нему ключи и договориться о сотрудничестве. «“Наездник”, - писал Рощин, — работал хорошо, каждую неделю представлял сообщения обо всем, что происходило в тайной полиции».
Сотрудничество с другим ценным источником — «Кумом» — было установлено Василием Петровичем на основе симпатий «Кума» к России. Установив, что «Кум» по субботам парился в роскошной венской бане «Диана-Бад», Рощин также начал ее посещать и через некоторое время нашел повод для знакомства с «Кумом». Последний охотно пошел на контакт с сотрудником советского посольства, не скрывал своего интереса и расположения к Советскому Союзу, и уже во время второй беседы с ним была достигнута договоренность о сотрудничестве.