Русский. Родился в дер. Панино Бронницкого уезда Московской губернии в семье кондуктора товарного поезда ст. Москва-Курская Нижегородской ж.-д. Михаила Терентьевича Зарубина. Его отец был членом РСДРП, до революции высылался административно из Москвы, а во время Гражданской войны был командирован на Восточный фронт начальником головного технического поезда, там заболел и в 1920 г. умер в Москве. Мать, Прасковья Абрамовна, работала поломойкой и прачкой. Кроме Василия, в семье было еще 12 детей, его брат Сергей и сестра Анна позднее работали в органах государственной безопасности.
В 1903–1908 гг. В. Зарубин учился в двухклассном училище при Московско-Курской ж.-д., после окончания которого начал работать в товариществе В. Лыжина (суконная фирма) сперва мальчиком, затем помощником упаковщика, после этого служил конторщиком и одновременно учился.
Участник 1-й мировой войны. С 1914 г. — рядовой 33-го. Елецкого полка 9-й пехотной дивизии на Юго-Западном фронте, с 1915 г. — рядовой 58-го запасного пехотного полка запасной бригады в Воронеже. Находясь в действующей армии, вел антивоенную агитацию, за что был направлен в штрафную роту. В марте 1917 г. был ранен и находился на излечении в Воронеже. По возвращении в часть был избран в полковой комитет солдатских депутатов. С октября 1917 г. — конторщик товарищества «Волжская мануфактура» в Москве, с февраля 1918 г. — помощник кладовщика склада товарищества В. Лыжина.
В апреле 1918 г. вступил в РКП(б). С сентября 1918 г. В. М. Зарубин — командир отделения 35-го резервного Рогожско-Симоновского полка 8-й армии Южного фронта. С февраля по июнь 1919 г. он — начальник конной связи и помощник начальника штаба по оперчасти 1-й бригады 1-й Московской Рабочей дивизии Южного фронта, затем был ранен и длительное время лечился в Москве и Воронеже. С февраля 1920 г. — инструктор-контролер 24-й бригады ВОХР Орловского сектора. С октября 1920 г. — сотрудник для поручений при начальнике 5-й дивизии ВНУС в г. Козлове.
При расформировании войск ВНУС В. М. Зарубин был рекомендован в органы ВЧК. С 12 января 1921 г. он — помощник уполномоченного по борьбе со спекуляцией районной транспортной ЧК Центра (Москва), с мая 1921 г. — уполномоченный, заместитель начальника СОЧ, затем начальник СОЧ Отдельной дорожно-транспортной ЧК и одновременно заместитель начальника Отдельной дорожно-транспортной ЧК в Москве.
В апреле 1922 г. В. М. Зарубин был направлен для прохождения службы в ПП ГПУ ДВО и был назначен заместителем начальника ОО 17-го Приморского корпуса в г. Николаевске-Уссурийском. С февраля 1923 г. он — начальник экономического отделения Приморского губотдела ГПУ во Владивостоке, одновременно с мая того же года — член комиссии Приморского губотдела ГПУ.
С февраля 1924 г. В. М. Зарубин был переведен на работу в разведку и зачислен в негласный штат по закордонной работе ПП ОГПУ ДВО, выезжал со спецзаданиями в Харбин и Пекин под прикрытием должности завхоза консульства СССР. С марта 1924 г. он — начальник 4-го отделения ЭКО Приморского губотдела ПП ОГПУ ДВО во Владивостоке, отвечал за борьбу с контрабандой наркотиков и оружия из Европы в Китай.
В сентябре 1925 г. переведен в аппарат ИНО ОГПУ и зачислен особоуполномоченным Закордонной части. Владел французским, немецким и английским языками.
С декабря 1925 г. по 1926 г. — легальный резидент ИНО ОГПУ в Хельсинки, действовал под прикрытием должности атташе полпредства СССР в Финляндии.
С 1927 г. В. М. Зарубин находится на нелегальной работе в Дании. После возвращения в Москву с апреля 1929 г. он — особоуполномоченный Закордонной части, а с января 1930 г. — помощник начальника 8-го отделения ИНО ОГПУ.
В марте 1930 г. В. М. Зарубин был назначен нелегальным резидентом ИНО ОГПУ во Франции («Бетти»), куда выехал по документам инженера Яна Кочека, словака по национальности, вместе со своей второй женой
В декабре 1933 г. переведен нелегальным резидентом в Берлин. Провел ряд ценных вербовок, являлся оператором особо важного агента — сотрудника гестапо Вилли
В 1937 г. для выполнения спецзадания (вербовки агентов для организации связи с Центром через Швейцарию) вместе с женой выезжал в США. В декабре 1937 г. вернулся в Москву.