Практика нового президента, его стремление к скорейшей ликвидации последствий Гражданской войны и восстановлению бывших мятежных штатов в Союзе путем фактического возвращения к власти недавних мятежников вызывала крайнее недовольство радикальных республиканцев, включая Гарфилда. Если раньше он критически относился к Линкольну, то теперь стал восхвалять убитого президента, противопоставляя его нынешнему. Что же касается Джонсона и его курса на примирение с югом, то, по словам Гарфилда, он «сошел с ума или опьянен опиумом».
Оказавшись в решительной оппозиции Джонсону, Гарфилд был одним из инициаторов ограничения власти президента путем принятия закона, запрещавшего ему увольнять ответственных чиновников без согласия Сената. Но все же со временем Гарфилд начинал понимать, что его крайняя позиция не способствует умиротворению страны. Когда президентский пост занял Грант, радикальная республиканская оппозиция в Конгрессе фактически перестала существовать, в частности в связи с тем, что Гарфилд занял более умеренную позицию. Наиболее четко изменение взглядов конгрессмена проявилось в 1871 г., когда обсуждался вопрос о запрещении ку-клукс-клана как террористической организации. В конце концов он проголосовал за этот закон, но перед этим заявил, что «буквально разрывается» между негодованием по поводу действий «этих негодяев» и своей озабоченностью по поводу той опасности своеволия, которую закон предоставляет президенту, давая ему возможность по своему произвольному решению отменять хотя бы на время и хотя бы в какой-то местности гражданские права.
В 1875 г. Демократической партии, которая становилась выразителем интересов индустриального развития страны, удалось получить большинство в Палате представителей. К этому времени авторитет Гарфилда стал настолько значительным, что его признали лидером республиканского меньшинства. Он представлял партию в ряде комитетов палаты и рассматривался в качестве вероятного спикера в случае, если республиканцам вновь удастся добиться большинства. На выборах 1876 г. он поддержал своего земляка по Огайо Хейса.
Хотя он подумывал уже об отставке и возвращении к частной юридической практике, коллеги и сам кандидат в президенты убедили его продолжить парламентскую деятельность, и он в очередной раз выиграл выборы в Палату представителей. Хотя во время выборов, как и ранее, Гарфилд постоянно демонстрировал, что является «честным игроком», он отнюдь не был лишен партийных пристрастий. Во время споров по поводу итогов голосования в южных штатах Хейс попросил Гарфилда выступить в качестве «нейтрального наблюдателя» в предварительном пересчете голосов в Луизиане. Было совершенно очевидно, что здесь, как и в других штатах, обе партии использовали мошеннические трюки, что реальный победитель может быть определен только путем проведения повторных выборов. Но «нейтральный наблюдатель» пришел к выводу о победе Хейса, и это оказало определенное воздействие на дальнейший пересчет голосов в Конгрессе. Позже, когда Конгресс образовал свою избирательную комиссию для окончательного решения вопроса о президенте, Гарфилд был в нее включен, хотя демократы резко выступали против него, утверждая, что он являлся агентом Хейса. Естественно, в комиссии он голосовал в пользу Хейса.
После избрания последнего президентом Гарфилд стал его самым надежным сторонником в Конгрессе, а сам Хейс, обязавшийся не выдвигать свою кандидатуру повторно, несколько раз говорил, что рад был бы видеть его своим преемником. Когда же в 1880 г. наступило время очередных президентских выборов, некоторые деятели Республиканской партии называли Гарфилда «серой лошадкой», претендующей на высшую должность в стране. Как мы видели, это было далеко не так. Джеймс был к этому времени политиком национального масштаба. Но действительно в истории США не было еще ни одного случая, когда бы на президентский пост претендовал не губернатор штата, не крупный военачальник, не вице-президент или госсекретарь, а всего лишь член Палаты представителей. Большинство обозревателей предрекали Гарфилду провал уже при номинации.