Джеймс был младшим из пятерых детей Абрама Гарфилда, потомка иммигрантов-англичан, которые поселились вначале в Массачусетсе, а затем переехали в район Нью-Йорка. В поисках лучшей жизни Гарфилд с женой Элизой перебрался в центральную часть страны, в штат Огайо, где зарабатывал на жизнь поденным трудом в графстве Ориндж. Отец Джеймса умер вскоре после рождения младшего сына. Мать вновь вышла замуж, но отчим не заботился о детях от первого брака, и вскоре Элиза рассталась с ним, причем по своей инициативе (подобное было в те времена редкостью, соседи осуждали ее поступок, а над детьми издевались соседские ребята).
Имея какое-то поверхностное образование, Элиза научила сына читать. Он оказался ребенком высоких способностей. У него была прекрасная память, он с ходу запоминал прочитанное по ночам, так как в дневное время приходилось с ранних лет зарабатывать на хлеб для всей семьи физическим трудом.
В 16 лет Джеймс покинул материнскую хижину. Он нашел работу на речном канале в районе Кливленда, где грузил мулов на крохотные товарные суденышки, а затем вез их по назначению новым хозяевам. За год ему удалось накопить небольшую сумму, которая позволила поступить на льготных основаниях в местную школу. Он был намного старше соучеников, которые вначале смеялись над переростком, но вскоре прониклись к нему уважением, так как он быстро овладевал знаниями, особенно в области лингвистики, и вскоре легко переходил с древнегреческого языка на латынь. Одновременно он зарабатывал себе на жизнь, работая помощником столяра. Эта работа его мало устраивала. Он стремился к интеллектуальным занятиям и вскоре нашел возможность заняться таковыми, став частным учителем (тьютором) детей зажиточных родителей, которым не давались самостоятельные занятия.
Затем последовали несколько других учебных заведений, главным образом в штате Массачусетс, в которых Гарфилд согласно выработанному уже им методу учился и одновременно вел занятия с отстающими учениками, зарабатывая этим на хлеб. Наиболее авторитетным из этих заведений был колледж Уильямса, дававший хорошую подготовку в «свободных искусствах», то есть в области гуманитарных наук и права. Джеймс добросовестно выполнял задания, у него сохранялась и развивалась великолепная память. Но как сказал один из его учителей, «искры гения у него не было». Зато в северо-восточном штате он проникся идеями равенства и стал аболиционистом.
В 1856 г. 25-летний Гарфилд наконец завершил свои студенческо-преподавательские хождения по различным городам и возвратился в Огайо, имея репутацию образованного молодого человека. Он стал преподавать в колледже в городе Хираме, а в следующем году стал его президентом. Как видно, в провинциальном городке почти не было квалифицированных преподавателей, если почти юноша совершил такой карьерный взлет за краткое время. Обеспечив себе определенное общественное положение и неплохой доход, Джеймс получил возможность создать семью. В 1858 г. он женился на своей давней ученице по колледжу в городе Хирам дочери фермера Лукреции Рудолф. В следующие годы в семье родились семеро детей, из которых пять прожили долгую жизнь, хотя ничем особым не выделились (двое умерли в младенчестве).
Ко времени возвращения в Огайо карьерные цели Гарфилда изменились. Он решил заняться политикой, а самым удобным путем к этому было приобретение специальности юриста. В то время, для того чтобы стать таковым, в его штате получение специального образования в одном из университетов не требовалось. Достаточно было пройти обучение в одной из адвокатских фирм и, главное, сдать экзамен для поступления в юридическую коллегию. Память Джеймса оставалась великолепной, трудолюбия также было не занимать. Руководя колледжем, он одновременно поступил учеником в правовую фирму в Кливленде. В 1861 г. ему удалось с первой попытки сдать экзамен, и он получил официальное признание в качестве юриста. Это позволило открыть в Хираме небольшую адвокатскую контору, в которую местные жители обращались с разнообразными жалобами, учитывая образованность и «мудрость» человека, который был одновременно адвокатом и руководителем местного колледжа.