Практически сразу после образования губернской организации кадетов Шингарев приступил к изданию вновь учрежденной газеты «Воронежское слово», ставшей на полтора года основным рупором местной интеллигенции. Подзаголовок издания был вполне откровенным и гласил: «Газета проводит взгляды партии кадетов (Народной свободы)». Энергично газета повела пропаганду либеральных идей в связи с развернувшейся весной 1906 года кампанией по выборам депутатов Государственной думы. Воронежские кадеты, настаивавшие на ускоренном развитии демократических свобод и на принятии мер по решению проблемы крестьянского малоземелья, сумели получить на выборах значительную поддержку избирателей. Из 12 предназначенных для Воронежской губернии депутатских мандатов они получили 4 – больше, чем любая другая партия. Это была и личная победа Шингарева, считавшего избирательную кампанию делом исключительной важности.
Но сам руководитель воронежских кадетов в депутаты не баллотировался. По решению своей партии он должен был сосредоточиться на политической деятельности местного комитета. Руководители кадетов не хотели оставлять Воронеж без энергичного организатора и рисковать судьбой одной из своих наиболее перспективных организаций. Однако быстрый роспуск Думы первого созыва внес серьезные изменения в положение кадетской партии. Организованное кадетами Выборгское воззвание с протестом против роспуска Думы и призывом к акциям гражданского неповиновения сделало партию революционной в глазах правительства. Принадлежность к Партии народной свободы была объявлена противозаконной. В январе 1907 года, по представлению губернатора, Шингарев был из земства уволен; готовилось даже судебное преследование лидера воронежских кадетов. Однако в условиях общественного подъема такие действия властей сыграли роль дополнительной рекламы: на выборах во II Думу Шингарев одержал уверенную победу. В феврале 1907 года он отправляется в Петербург. В его жизни совершается новый поворот. Начинается столичный период политической деятельности Шингарева, выдвинувший его в число общественных и государственных деятелей общероссийского масштаба.
Думская деятельность бывшего санитарного врача проходила на редкость активно. Правда, II Дума была тоже недолгой. Левая, даже более радикальная по составу, она еще менее первой была готова сотрудничать с правительством П. А. Столыпина и была распущена 3 июня 1907 года, спустя 102 дня после открытия. Однако новый роспуск существенного влияния на политическую судьбу Шингарева не оказал: он вновь баллотировался в своей родной губернии и был избран депутатом III Государственной думы, первой в истории России отработавшей установленный пятилетний срок. В 1908 году Шингарев становится членом ЦК Конституционно-демократической партии, а в 1912 году избирается депутатом IV Думы, на этот раз от Петербурга.
Вплоть до крушения монархии он был одним из самых влиятельных лидеров либеральной оппозиции режиму и играл ведущую роль в деятельности думской кадетской фракции. Член ЦК кадетской партии А. В. Тыркова вспоминала: «Благодаря редкой трудоспособности Шингарев скоро стал правой рукой Милюкова, но самостоятельность свою целиком сохранил. Еще вчера неизвестный провинциал, он быстро сделался любимцем Петербурга. Имя Андрея Ивановича стало повторяться едва ли не чаще, чем имя Павла Николаевича (Милюкова. –
Шингарев напряженно трудился сразу в нескольких в думских комиссиях: бюджетной, земельной, продовольственной, по местному самоуправлению, по вопросам законодательства и других. Но все же чаще всего Шингарев выступал в Думе как специалист по бюджетным отношениям и являлся почти бессменным оппонентом министра финансов В. Н. Коковцова. По собственному признанию последнего, Шингарев часто отравлял его существование как министра пламенными речами «в пользу охранения народа от гнета и злоупотреблений власти». Представитель кадетов неизменно подчеркивал, что налоги в России были «несправедливыми, тяжелыми для малосостоятельных людей и очень льготными для богатых». Как авторитетный знаток земельного вопроса, он стал одним из авторов аграрной программы кадетов, которая предусматривала проведение ряда мер по разрешению проблемы крестьянского малоземелья.