Постепенно о Гарфилде узнали и за пределами Хирама. Сохранивший антирабовладельческие настроения, он установил связь с местной организацией Республиканской партии. Еще до того как он стал официально признанным юристом, Гарфилд был избран в Сенат штата Огайо, где пробыл недолго, но выступил с важным предложением о выделении средств на проведение геологических исследований с целью выявления минеральных ресурсов. Но и местный Сенат, и нация в целом в 1861 г. стояли перед проблемами, намного более весомыми, чем проведение геологических экспедиций. Началась Гражданская война. Джеймс попытался сразу же записаться в отряд добровольцев, однако губернатор Огайо Уильям Деннисон, который, оценив дисциплинированность и организаторские качества сенатора, предложил ему некоторое время продолжать службу в том же качестве, занявшись сбором средств на вооружение и обмундирование добровольческих отрядов. Весну и начало лета 1861 г. он провел в поездках по штату, выступая на собраниях, на которых проводился сбор средств. Вслед за этим он был командирован в Иллинойс, где удачно закупил партию огнестрельного оружия, заслужив благодарность губернатора и Сената.
Завоевав таким образом полное доверие администрации штата, Гарфилд был назначен командиром 42-го пехотного полка Огайо, и ему было присвоено звание полковника. Полк, правда, существовал только на бумаге, его еще предстояло создать, и первая задача новоиспеченного полковника состояла именно в этом. Он набрал в свою часть в основном учеников колледжа, соседей по Хираму. Осенью в окрестностях города Коламбуса начались тренировки, а в декабре полк был направлен в штат Кентукки, где поступил в распоряжение бригадного генерала Карлоса Бьюэлла. У этого генерала была сомнительная репутация, так как он был единственным из военачальников севера, у которого были рабы. Поговаривали даже о его сочувственном отношении к южанам. Однако у Гарфилда сложились деловые отношения с начальником. Он исправно выполнял приказы, участвовал в нескольких небольших боях, в которых ничем особым не отличился, но и не проявил трусости. В январе 1862 г. руководимые им части добились победы в районе Миддл-Крик. В связи с этим успехом Гарфилд получил звание бригадного генерала. В конце 1862 г. приказом генерала Гранта он был назначен начальником штаба Камберлендской армии генерал-майора Уильяма Розекранса, вместе с которым провел несколько успешных операций во взаимодействии с войсками генерала Уильяма Шермана, с которым установились близкие отношения.
Гарфилд участвовал в военных действиях лишь до 1863 г.: он был избран в Палату представителей от Республиканской партии и оставил военную службу с согласия командования. В декабре 1863 г. Гарфилд занял свое место в Конгрессе. Он присоединился к группе радикальных республиканцев и выражал недовольство и удивление политикой Линкольна, к которому относился с почтением, считая, что президент ведет себя в войне и в преобразовании юга страны чрезмерно осторожно. Совместно с депутатом от Пенсильвании Таддеусом Стивенсом он предложил разработать законопроект о конфискации земли у рабовладельцев. Однако Линкольн заявил, к величайшему огорчению Джеймса, что, если таковой закон будет принят, он наложит на него вето. Полностью поддержав прокламацию президента об освобождении рабов, конгрессмен рассуждал, что она не может считаться полной, так как ее естественным дополнением должно было бы стать лишение бывших рабовладельцев гражданских прав. Полное разрушение рабовладельческой системы, считал он, может быть осуществлено только путем предания суду ее носителей.
Гарфилд находился, таким образом, на крайне радикальном крыле Республиканской партии, не учитывал реальной обстановки в стране, в том числе на севере, где сохранялось неоднозначное отношение к предоставлению неграм политических прав, с чем Линкольн должен был считаться, к тому же, как мы знаем, считал необходимым предоставление черному населению всех гражданских прав только по мере его просвещения.
От большинства республиканских политиков Гарфилд отличался и тем, что резко выступал против возможности откупиться от службы в армии путем уплаты определенного денежного взноса. Он произнес в Палате представителей страстную речь, в которой называл практику откупа отвратительной. И по этому вопросу он встретил сопротивление президента. Когда же вопрос был поставлен на голосование, оказалось, что Гарфилд был единственным депутатом, голосовавшим за собственное предложение.
Тем не менее он приобрел репутацию твердого и самоотверженного республиканца, прилагавшего все силы для победы севера, для реконструкции юга. На партийном съезде 1864 г. было внесено предложение выдвинуть Гарфилда кандидатом в вице-президенты. Съезд, однако, предпочел Эндрю Джонсона, который стал вице-президентом, а вслед за этим, после убийства Линкольна, перебрался в Белый дом.