Первое крупное сражение, в котором он по-настоящему принял боевое крещение, произошло 14 сентября на границе Вирджинии и Мэриленда, в районе Южной горы. Войсками северян командовал генерал Джордж МакКлеллан, южанами — генерал Роберт Ли. Бой шел за овладение перевалами в Аппалачских горах, важных для дальнейших военных действий. Ли вынужден был отступить. Правда, МакКлеллан победой не воспользовался…
Во время атаки на окопы противника Хейс был ранен в левую руку (что привело к раздроблению кости и большой потери крови), но остался на поле боя. Правда, его подчиненные вели себя отнюдь не столь отважно: они не обратили внимания, что их командир потерял сознание, бросили его и отошли, оставив его лежащим посреди поля. Лишь позже, спохватившись, кто-то из солдат возвратился за Хейсом и помог ему добраться до своих окопов. После боя его отправили в госпиталь, где он провел около месяца.
Мужество офицера вновь было оценено, он был произведен в полковники, а после выздоровления стал командиром бригады и вскоре получил временное звание бригадного генерала. В следующие месяцы он участвовал в боях на различных участках и в 1864 г. был еще раз ранен в плечо. Впрочем, как командир он особых талантов не проявил: он мужественно и исправно исполнял приказы, но каких-либо достоинств в области оперативного мышления у него не было. Тем не менее его имя было известно командованию и сам Грант отзывался о нем положительно как о генерале, проявившем «мужество и качества хорошего организатора». Характеристика была все же явно сдержанной.
Хейс завершил войну в звании временного генерал-майора, после чего вернулся в Огайо и навсегда оставил военную службу. Еще находясь в армии, Хейс был выдвинут в родном штате в Палату представителей Конгресса США. Хотя он непосредственно не участвовал в кампании, ограничившись только несколькими письмами к избирателям, он как храбрый военный, внесший вклад в победу, был избран. Почти сразу после возвращения в Цинциннати Хейс отправился в столицу для работы в Конгрессе. В Палате представителей он, не являвшийся официально членом партии как недавний военный, сразу же присоединился к группе умеренных республиканцев, хотя по ряду вопросов голосовал вместе с радикальным, аболиционистским крылом депутатов.
Он энергично выступил за 14-ю поправку к Конституции, запрещавшую рабовладение в США, и призывал к ее скорейшей ратификации. После убийства Линкольна и вступления на президентский пост Эндрю Джонсона Хейс стал одним из наиболее рьяных оппонентов нового президента. Он был в числе тех депутатов, которые ратовали за проведение глубокой реконструкции юга, прежде чем бывшие штаты Конфедерации получат полные права в органах власти. Он выступал за принятие закона о запрещении президенту смещать высших чиновников, прежде всего министров, без санкции Сената. Этот закон был принят, в частности благодаря его усилиям. Одновременно Хейс выступал за реформирование гражданской (государственной) службы в принципе с целью устранить из административных органов партийных назначенцев. Эта реформа не нравилась многим конгрессменам и так и не была проведена. Позже, став президентом, Хейс продолжал добиваться реорганизации административных служб.
Пребывание в Конгрессе было недолгим. Хейс пришел к выводу, что значительного влияния на общегосударственные дела он оказать не в состоянии. Между тем в родном штате Огайо приближались губернаторские выборы. Пост губернатора в последние годы занимал представитель Демократической партии, всячески затягивавший ратификацию 15-й поправки. В планах Хейса были и различные меры, касавшиеся улучшения экономической и культурной ситуации. Он выставил свою кандидатуру на губернаторский пост и легко победил.
Пост местного руководителя он занимал с 1868 по 1872 г. Хейс снискал популярность среди местного населения снисходительностью по отношению к преступникам, совершившим сравнительно небольшие нарушения законов. Он многократно использовал право помилования и завоевал репутацию «доброго губернатора», хотя и не выступавшего с крупными инициативами. Наиболее значительной областью, в которой он проявил себя, было образование, в частности высшее. Хейс стал инициатором основания крупного сельскохозяйственного и механического колледжа, который позже был преобразован в государственный университет штата Огайо.
Считая, что он накопил определенные знания и опыт для административной службы в национальном масштабе, но находясь пока на распутье, Ратерфорд Хейс в 1872 г. отказался выдвигать свою кандидатуру на новый срок и вернулся к частной жизни. Перед этим, правда, он обратился к президенту Гранту, памятуя свою службу под его началом во время недавней войны, с просьбой предоставить ему какой-либо пост в Вашингтоне. Грант отказал, причем в резкой форме. Ему, видимо, не понравилось, что ничем существенным на войне не отличившийся бывший генерал осмеливается обратиться прямо к президенту.