В 1912 году Коновалова выбирают депутатом IV Государственной думы от Костромской губернии; «думский» этап оказался важнейшим в его политической карьере. Во время выборной кампании он входит в состав Московского комитета беспартийных прогрессистов во главе с депутатом III Думы Н. Н. Львовым. Комитет был создан «с целью способствовать сплочению прогрессистов для общей борьбы с реакцией на выборах в IV Думу». Хотя прогрессисты в этот период избегали называть свою организацию партией, предпочитая форму «беспартийных комитетов», по существу то была политическая партия с программой, центральными органами и т.д. Одним из ее лидеров с самого начала и стал либеральный московский предприниматель. В конце 1912 года Коновалов избирается в состав ЦК конституировавшейся партии прогрессистов, ее лозунг – «утверждение конституционно-монархического строя с политической ответственностью министров перед народным представительством».
Войдя в состав думской фракции прогрессистов, требования которых совпадали с программой московских деловых кругов, Александр Иванович становится членом нескольких комиссий (финансовой, по торговле и промышленности, по рабочему вопросу), где раскрылся как компетентный и независимый эксперт. С трибуны Коновалов демонстрировал растущую оппозиционность деловых кругов, открыто заявляя, что «в рамках полицейского строя экономический расцвет недостижим». Зависимые от бюрократического «усмотрения», «ни личная инициатива, ни энергия, ни капиталы не обеспечены в своем развитии, а потому инициатива вянет в зародыше, капиталы не притекают к делам, и богатства страны остаются мертвыми». Депутат пытался добиться улучшения жизни российских рабочих, выступил с проектом по охране труда женщин и малолетних, строительству жилищ для фабричных, страхованию их по старости и инвалидности; некоторые из его предложений были реализованы.
Коновалов отстаивал также тезис о тождественности потребностей экономического роста с общенациональными интересами. «Для промышленности, – говорил он, – как воздух необходимы плавный, спокойный ход политической жизни, обеспечение имущественных и личных интересов от произвольного их нарушения, нужны твердое право, законность, широкое просвещение в стране. Таким образом, господа, непосредственные интересы русской промышленности совпадают с заветными стремлениями всего русского общества…»
Главная цель либерального политика – мирное реформирование государственного строя на конституционно-монархических основаниях с переходом реальной политической власти к либеральной оппозиции. Средством мог стать блок всех оппозиционных фракций в Думе, призванный предотвратить социальную революцию, приближение которой отчетливо чувствовалось в канун мировой войны. Вскоре после избрания депутатом Думы Коновалов в газетном интервью говорил о необходимости образования «большой либеральной внеклассовой партии». Отражая позицию прогрессистов, он, по сути, предлагал создание не просто левоцентристского большинства с кадетами и октябристами, а прочного либерального блока, который «начал бы осуществлять прогрессивные реформы и повел бы Россию по эволюционному пути». Как фактический руководитель фракции прогрессистов в ноябре 1913 года Коновалов был избран заместителем (товарищем) председателя Думы М. В. Родзянко.
Однако, испытав разочарование в думских методах давления на правительство, весной 1914 года, незадолго до войны, он пошел на союз с леворадикальными партиями, в том числе и с большевиками, которых пытался использовать для координированного воздействия на правящий режим. У прогрессистов практически не было организации вне Думы, и либеральный политик стремился заключить союз с партиями, имевшими влияние в широких массах. «Правительство, – призывал он представителей революционных партий, – обнаглело до последней степени потому, что не видит отпора, уверено, что страна заснула мертвым сном. Но стоит только проявиться двум-трем эксцессам революционного характера, и правительство немедленно проявит свою безумную трусость и крайнюю растерянность… Объединенная оппозиция должна стараться вызвать такие выступления, которые запугали бы правительство и заставили его пойти на уступки».