Первые же вылеты летчиков штурмовых авиаполков на боевое задание выявили ряд серьезных дефектов штурмовика Ил-2. В условиях полевых аэродромов выявилась недостаточная прочность шасси, что приводило к частым поломкам самолетов, а иногда и катастрофам. Запас топлива на самолете был признан не обеспечивающим требуемый радиус действия, особенно по целям в тактической глубине противника. Пушки при стрельбе давали сплошные задержки по причине недоведенности пневматической системы перезарядки и поперечных разрывов гильз в патроннике. А самое главное, боевая эффективность «самолета поля боя» была минимальной.
С одной стороны, его вооружение не соответствовало задачам нанесения мощных ударов по мотопехотным и танковым колоннам, аэродромам противника, скоплениям пехоты и автотранспорта.
Пушка ШВАК, как мы помним, была получена путем «перестволивания» крупнокалиберного пулемета аналогичной конструкции. Снаряд к этой пушке пришлось выполнить толстым и «тупоголовым», чтобы уложиться в автоматику пулемета, а значит, не выйти за длину штатного 12,7-мм патрона. Недостатки такой «модернизации» выявились достаточно скоро: слабое разрушающее действие при стрельбе по цельнометаллическим самолетам из-за малой массы снаряда и мизерного количества взрывчатого вещества в нем; быстрое уменьшение скорости снаряда на траектории по причине неудовлетворительной аэродинамической формы (при этом увеличивалось время подлета снаряда к цели и вероятность ее поражения). К тому же Ильюшин в спешке выбрал путь «наименьшего сопротивления» и разместил пушки на место «крайних» пулеметов ШКАС, что вело к ошибкам прицеливания и повышенному рассеиванию снарядов из-за недостаточной жесткости крыла. Испытания, проведенные летом 1942 года, показали, что пушка ШВАК не пробивает броню даже легких немецких танков, максимум ее возможностей – под углом, близким к нормали, с дистанции не более 250–300 м проделать «дырочку» в 15-мм броне. По результатам испытаний было рекомендовано: «Самолеты Ил-2, вооруженные пушками ШВАК, по танкам использовать неэффективно, а лучше использовать их на 5 – 10 км в тылу по пехоте и горючему, обеспечивающему танки».
Фугасные бомбы сбрасывались на глазок: прицел ПБП-1 лишь закрывал обзор, был бесполезен при стрельбе и бомбометании на сверхмалых высотах, а при грубой посадке пилот расшибал об этот прибор голову. По этой причине в частях прицел демонтировали и сдавали на склад.