Мать уехала на заработки, а Ваня жил в большой старообрядческой семье деда Осипа Комогорова. С восьми лет мальчик помогал по хозяйству, был пастухом.
Когда Ваня окончил три класса, мать увезла его в небольшой городок Мариинск, где она жила с мелким торговцем фруктами — татарином Ишмухаметом Амировым. Отчим отличался крутым нравом, в подпитии бросался на всех с кулаками. Однажды Ваня не выдержал и, схватив топорик, кинулся на Амирова, тот позорно бежал и спрятался в полицейском участке. После этого Пырьев вынужден был пойти «в люди»…
В конце 1915 года Пырьев сел в один из воинских эшелонов и поехал на фронт. Он воевал в составе 32-го Сибирского полка. Был дважды ранен, получил Георгиевские кресты 3-й и 4-й степеней.
В мае 1918 года он заболел тифом. После выздоровления записался в ряды Красной армии и в партию. Сначала был рядовым красноармейцем, затем политруком, агитатором в политотделе 4-й железнодорожной бригады. В это время Пырьев начал учиться в театральной студии Губпрофсовета, где встретился и подружился с Григорием Александровым. Иван Пырьев стал одним из организаторов Уральского Пролеткульта. В Екатеринбурге он месяца три под фамилией Алтайский играл небольшие роли в профессиональной драматической труппе.
В конце лета 1921 года в Екатеринбург приехала на гастроли Третья студия МХАТ. Пырьев с Александровым были настолько поражены их искусством, что вскоре отправились в Москву.
В столице Пырьев играл в Первом Рабочем театре Пролеткульта в спектакле «Мексиканец» у Сергея Эйзенштейна. В эксцентрической короткометражке «Дневник Глумова» он появился в костюме клоуна. Поссорившись с режиссёром, Пырьев ушёл к Всеволоду Мейерхольду, где запомнился благодаря зелёному парику в роли Буланова в «Лесе». Одновременно Пырьев руководил рабочими самодеятельными кружками, где ставил агитки и оратории на злободневные темы.
В 1923 году он окончил актёрское отделение ГЭКТЭМАС, учился Иван и на режиссёрском отделении. Наконец судьба привела его в кино.
Пырьев начинал как помощник режиссёра. Вскоре о нём заговорили как о «короле ассистентов». Утверждали, что даже самый беспомощный режиссёр при помощи Пырьева добьётся успеха.
Конечно, он хотел снимать сам. Помог ему случай. На кинофабрике «горел» сценарий Н. Эрдмана и А. Мариенгофа «Посторонняя женщина», рассчитанный на летнюю натуру, а дождливое лето 1928 года уходило. Пырьев за три недели переписал сценарий и за три месяца сделал сатирическую комедию. В главной роли снялась Ольга Жизнева.
Но второй сатирический фильм Пырьева «Государственный чиновник» (1931) был подвергнут критике и, как следствие, переделке. В те времена было немало чиновников, считавших, что в социалистическом обществе сатире места нет…
Следующая лента Пырьева «Деревня последняя», начатая в 1931 году, была посвящена возникновению колхозов и борьбе с кулачеством. Но в процессе работы режиссёра отстранили от постановки «за противопоставление интересов картины интересам государства»…
Пырьев оказался без работы. Представитель армянской кинематографии уговорил режиссёра и его жену актрису Аду Войцик поехать работать на Ереванскую киностудию, однако вскоре супруги опять вернулись в Москву.
В 1933 году Пырьев выпускает драму из жизни трёх немецких девушек «Конвейер смерти» — звуковой фильм, снимавшийся в недостроенных павильонах «Мосфильма» на Потылихе. Актрисы Ада Войцик, Тамара Макарова и Вероника Полонская создали привлекательные образы молодых работниц.
После «Конвейера смерти» снова последовал длительный перерыв в работе режиссёра, заполненный поисками своей темы. К сожалению, не состоялась экранизация (совместно с М. Булгаковым) «Мёртвых душ».
Наконец Пырьев взялся за произведение сценаристки Катерины Виноградской — «Анка». Эта драма о бдительности и важности партийных документов имела успех. Финальные эпизоды картины, когда разоблачают кулака, укравшего у своей жены партийный билет, чтобы передать его шпионке, были поставлены Пырьевым и сыграны актёрами с истинным драматизмом. В руководстве страны фильм был высоко оценён и получил название «Партийный билет» (1936).
Однако этот успех не укрепил положения Пырьева на «Мосфильме». Рассорившись с дирекцией, он отбыл в Киев, где взялся за сценарий молодого кинодраматурга Евгения Помещикова. Музыкальная комедия «Богатая невеста» (1938) была с восторгом встречена зрителем. Пырьев пронизал все эпизоды стремительным ритмом, красотой, задорной и доброй весёлостью. Композитор Исаак Дунаевский написал превосходную музыку. Исполнительница главной роли Марина Ладынина сразу вошла в число наиболее популярных советских актрис, а кроме того, стала второй женой Ивана Александровича. Через год в их семье появился сын Андрей.