В 1774 г. в графстве Ориндж был образован нелегальный Координационный комитет, объявивший своей задачей борьбу против господства Великобритании. Джеймс вошел в его состав. В следующем году он стал членом, а вслед за этим председателем нового местного органа — Комитета безопасности графства. Современники отмечали парадокс: Джеймс был застенчивым, даже робким молодым человеком со слабым здоровьем. Он был подвержен простудам и часто проводил время в постели. Но когда он начинал аргументировать свои предложения, его речь становилась твердой, решительной и о застенчивости и хрупкости быстро забывали.
В 1775 г. Мэдисона избрали делегатом Вирджинского конвента, который при его активном участии разработал местную конституцию, важным приложением к которой стал документ под названием Декларация прав. Оба документа в значительной мере послужили образцами для принятых вскоре основополагающих общеамериканских законодательных актов. Правда, в одном вопросе Мэдисон оказался в меньшинстве: он настаивал, чтобы в декларацию был включен пункт о свободе религии, а большинство делегатов не оказались готовыми к принятию столь радикального положения, и англиканская церковь оставалась господствующей. Это, впрочем, никак не подорвало авторитета молодого законодателя. Наоборот, уважение к нему как к человеку, твердо отстаивавшему свои принципы, только повысилось.
Вполне естественным было избрание Мэдисона на Континентальный конгресс. Именно здесь он познакомился с Томасом Джефферсоном. Они стали друзьями и соратниками в борьбе за высшие государственные посты и, главное, за укрепление независимости нового государства, за разработку его основных законодательных актов. Возвратившись в Вирджинию, которая теперь стала штатом, Джеймс в том же 1776 г. был избран в Палату делегатов, которая переизбиралась ежегодно. В следующем году он вновь выставил свою кандидатуру, но выборы проиграл по своеобразной причине. Корыстные избиратели потребовали, чтобы он дал обещание выставить на каждом участке по бочке спиртного в награду за трудный путь к месту выборов и за сам факт поддержки его кандидатуры. Термина
Ставший в это время губернатором Вирджинии Томас Джефферсон высмеял явно догматическое поведение своего друга, но назначил его в Совет штата — консультативный орган при губернаторе. Мэдисон действительно стал ближайшим советником губернатора, все более приобретавшего общеамериканскую известность, которая распространялась на его друга. Оставаясь членом совета губернатора, Джеймс в 1781 г. отправился на Конгресс Конфедерации, каковой поначалу мыслились США. На его заседаниях он почти сразу выделился тем, что фактически отверг конфедеративный план и проект Конституции, предоставлявшей, по его мнению, слишком широкие права штатам. Мэдисон, как и небольшая группа делегатов, которых называли федералистами, выступал за создание сильного централизованного правительства со своими источниками финансирования, не зависящего от добровольных субсидий отдельных штатов. Свои предложения он аргументировал, в частности, тем, что штаты, включая его родную Вирджинию, всячески уклоняются от финансирования общеамериканских властей. По этому вопросу у него возникли разногласия с Джефферсоном, выступавшим за широкую автономию штатов. Разногласия, однако, не повлияли на близкие отношения политиков.
Разочарованный медлительностью в принятии фундаментальных решений, Мэдисон в 1783 г. покинул Конгресс и возвратился в свой штат. В том же году он был вновь избран в Палату делегатов и ежегодно переизбирался еще три раза. Здесь он особенно энергично добивался принятия закона о свободе вероисповедания и отделении церкви от государства. Несмотря на ожесточенное сопротивление приверженцев англиканской церкви, которая оставалась в Вирджинии, как и в других штатах, господствующей, Мэдисон, благодаря своему ораторскому таланту и логике, в конце концов добился принятия соответствующего закона в декабре 1785 г.
Вместе с тем Джеймс со все большей тревогой наблюдал, что централизованное государство, которое он считал необходимым создать, так и не возникло. В 1787 г. он изложил свои мысли в рукописи «Пороки политической системы Соединенных Штатов», в которой доказывал ошибочность статей Конфедерации и необходимость выработки новой Конституции. Он был в числе главных инициаторов созыва национального представительства, призванного выработать принципиально новый основной закон.