Но сам руководитель воронежских кадетов в депутаты не баллотировался. По решению своей партии он должен был сосредоточиться на политической деятельности местного комитета. Руководители кадетов не хотели оставлять Воронеж без энергичного организатора и рисковать судьбой одной из своих наиболее перспективных организаций. Однако быстрый роспуск Думы первого созыва внес серьезные изменения в положение кадетской партии. Организованное кадетами Выборгское воззвание с протестом против роспуска Думы и призывом к акциям гражданского неповиновения сделало партию революционной в глазах правительства. Принадлежность к Партии народной свободы была объявлена противозаконной. В январе 1907 года, по представлению губернатора, Шингарев был из земства уволен; готовилось даже судебное преследование лидера воронежских кадетов. Однако в условиях общественного подъема такие действия властей сыграли роль дополнительной рекламы: на выборах во II Думу Шингарев одержал уверенную победу. В феврале 1907 года он отправляется в Петербург. В его жизни совершается новый поворот. Начинается столичный период политической деятельности Шингарева, выдвинувший его в число общественных и государственных деятелей общероссийского масштаба.
Думская деятельность бывшего санитарного врача проходила на редкость активно. Правда, II Дума была тоже недолгой. Левая, даже более радикальная по составу, она еще менее первой была готова сотрудничать с правительством П.А. Столыпина и была распущена 3 июня 1907 года, спустя Ю2 дня после открытия. Однако новый роспуск существенного влияния на политическую судьбу Шингарева не оказал: он вновь баллотировался в своей родной губернии и был избран депутатом III Государственной думы, первой в истории России отработавшей установленный пятилетний срок. В 1908 году Шингарев становится членом ЦК Конституционно-демократической партии, а в 1912 году избирается депутатом IV Думы, на этот раз от Петербурга.
Вплоть до крушения монархии он был одним из самых влиятельных лидеров либеральной оппозиции режиму и играл ведущую роль в деятельности думской кадетской фракции. Член ЦК кадетской партии А.В. Тыркова вспоминала: «Благодаря редкой трудоспособности Шингарев скоро стал правой рукой Милюкова, но самостоятельность свою целиком сохранил. Еще вчера неизвестный провинциал, он быстро сделался любимцем Петербурга. Имя Андрея Ивановича стало повторяться едва ли не чаще, чем имя Павла Николаевича (Милюкова. – М.К), и с более нежной улыбкой. В Государственной думе даже политические противники относились к Шингареву по-приятельски, сносились с ним куда охотнее, чем с Милюковым… Шингарев и на трибуну всходил, и в кулуарах появлялся с улыбкой, которая хорошо передавала его характер и очень шла к его пригожему, тонкому лицу, обрамленному прямой черной бородкой… В пестрой толпе членов Думы не было человека популярнее Андрея Ивановича. Конечно, сущность была не в его улыбчивости, а в душевной силе, которая понемногу создала ему исключительный авторитет на всех скамьях, при этом в Думе, где большинство было кадетами, где междупартийные споры носили недобрый, личный характер…»
Шингарев напряженно трудился сразу в нескольких думских комиссиях: бюджетной, земельной, продовольственной, по местному самоуправлению, по вопросам законодательства и др. Но все же чаще всего Шингарев выступал в Думе как специалист по бюджетным отношениям и являлся почти бессменным оппонентом министра финансов В.Н. Коковцова. По собственному признанию последнего, Шингарев часто отравлял его существование как министра пламенными речами «в пользу охранения народа от гнета и злоупотреблений власти». Представитель кадетов неизменно подчеркивал, что налоги в России были «несправедливыми, тяжелыми для малосостоятельных людей и очень льготными для богатых». Как авторитетный знаток земельного вопроса, он стал одним из авторов аграрной программы кадетов, которая предусматривала проведение ряда мер по разрешению проблемы крестьянского малоземелья.
В годы Первой мировой войны Шингарев занял патриотическую позицию и вошел в состав Главного комитета Союза городов, влиятельной общественной организации, стремившейся наряду с Союзом земств мобилизовать ресурсы страны для отражения внешней угрозы. В 1915 году он стал еще и председателем Военно-морской комиссии Государственной думы, в задачу которой входила среди прочего и забота о нуждах личного состава российского флота.
Тяжелый ход войны усилил оппозиционность Шингарева. Вину за поражения на фронтах и большие потери русских армий он возлагал на царское правительство, неспособное, по мнению кадетов и их союзников по Прогрессивному блоку в Думе, руководить страной в годы суровых испытаний. С думской трибуны открыто звучали голоса либералов, требовавших создать «правительство народного доверия» и предрекавших, что николаевские министры доведут страну до новой революции.