К моменту Крестьянской войны 1773–1775 гг. Зарубину исполнилось 36 лет. Он прошел трудную жизненную школу, участвовал в столкновениях с царской администрацией, испытал многие лишения: арест и тюремное заключение. Еще до Крестьянской войны 1773–1775 гг, Зарубин приобрел опыт борьбы за землю и вольность казацкую. Вот почему с появлением Пугачева он без колебания примкнул к восстанию.
Зарубин был в числе первых казаков, приехавших на Таловый умет для встречи с «государем Петром III». Здесь Пугачев и его первые сторонники сформулировали те лозунги восстания, которые всколыхнули все яицкое войско и затем всенародно были провозглашены в одном из манифестов самозванного императора. Эти лозунги полностью соответствовали стремлениям и чаяниям не только Ивана Зарубина, но и всех беднейших яицких казаков. Вот почему Зарубин до конца своих дней преданно служил делу восстания. Его позиция не была поколеблена ни «увещеваниями», ни угрозами царской администрации.
С самого начала Крестьянской войны 1773–1775 гг. Зарубин стал одним из ее вождей. Под его руководством был сформирован отряд казаков, который действовал в районе Яицкого городка. В октябре 1773 г. этот отряд захватил важные опорные пункты царской администрации — Илецкий городок, Нижне-Озерную и Татищеву крепости. Вместе с Пугачевым Зарубин участвовал в осаде Оренбурга. В критический момент восстания, когда на помощь Оренбургу был брошен отряд генерала Кара, Пугачев направил Зарубина навстречу правительственным войскам. Повстанцы, получив подкрепление от отряда Хлопуши, который передал Зарубину пушки и часть «казаков», подошли в начале ноября 1773 г. к деревне Юзеевке, где находились войска генерала Кара. Подавив артиллерию карателей, восставшие разгромили правительственные войска и несколько часов их преследовали.
После победы над Каром Зарубин возвратился в лагерь восставших под Оренбург. Здесь его ждало новое, чрезвычайно важное поручение. Пугачевские войска остро нуждались в боеприпасах и артиллерии. Основными базами снабжения восставших были уральские заводы. Пугачев направил Зарубина на Воскресенский завод в Башкирию с тем, чтобы тот наладил производство пушек. Атаману удалось справиться с этой задачей; как доносили Пугачеву, «заводские стали уже лить чугунные пушки».
Вскоре Зарубин получил новое повеление «Петра III». Атаман должен был возглавить осаду Уфы — крупнейшего центра Башкирии. Поручение было весьма ответственным и сложным. Осада важнейшего опорного пункта царской администрации усугублялась общей сложной обстановкой, которая возникла в Башкирии. Отряды восставших, сформированных по национальному признаку, действовали разрозненно, на свой страх и риск, не были подчинены центральному руководству. Иногда между восставшими различных национальностей возникали недоверие и разлад. Пугачев и его штаб под Оренбургом поручили Зарубину усилить осаду Уфы и прежде всего добиться прекращения разногласий между отрядами восставших. Атаман, который теперь стал именоваться «графом Чернышевым», по имени президента Государственной военной коллегии в Петербурге, успешно справился с поставленной перед ним задачей. После своего переезда под Уфу, в деревню Чесноковку, где сложился повстанческий центр, Зарубину удалось подчинить разрозненные отряды командованию, устранить конфликты между отдельными воинскими национальными формированиями. В свою армию он принимает не только русских, но и башкир, татар, представителей всего населения огромного края независимо от их национальной принадлежности. Основным критерием отбора в войско Зарубина было отношение повстанца к правительственной администрации, к заводчикам и помещикам — врагам угнетенного населения Башкирии. Из штаба Зарубина выходили воззвания, манифесты, указы, призывающие к борьбе против эксплуататоров, к созданию отрядов, набору добровольцев в войска, снабжению повстанческой армии продовольствием и снаряжением. В ответ на воззвания Зарубина к нему присоединились отряды из всех районов Башкирии и с заводов Урала. Так, лишь с одного Ижевского завода в Чесноковку прибыл в январе 1774 г. отряд работных людей и пришлых крестьян численностью до 1700 человек. Одновременно с функцией главного военного центра штаб в Чесноковке являлся и административным учреждением, дающим указания, относящиеся к делам и постановлениям выборных административных органов власти (мирских сходов) и к спорным вопросам, возникающим в повседневной работе. Например, в феврале 1774 г. с Рождественского завода прибыли представители работных людей во главе с выборным атаманом Семеном Волковым с жалобой на захват заводской казны отрядом башкир. В то же время заработная плата рабочим хозяевами не выплачивалась. Зарубин постановил, чтобы «вместо тех взятых башкирцами денег из вырученных за соль и и с продчих питейных доходов выдать им (работным людям —