Видимо, Картер не был столь уж видным «атомщиком», так как Риковер дал немедленное согласие на его увольнение. Перед самым окончанием курсов в Скенектади лейтенант Картер был освобожден от активной военной службы. Он оставался в военно-морском резерве до 1961 г., после чего покинул и его, так и оставшись лейтенантом. Власти США были щедры на награды воинам. Хотя Картер, кроме работы по ликвидации аварии на канадском реакторе, ничем себя не проявил на военной службе, он был награжден четырьмя медалями, в том числе почему-то медалью за победу во Второй мировой войне.
Вернувшись в Джорджию, Картер унаследовал небольшой участок земли на отцовской ферме. Первое время его семья, в которой уже были трое сыновей, вынуждена была даже жить в квартире дома для бедных, субсидируемого властями. К тому же первый урожай арахиса на его участке, который Джимми, как он уже стал себя называть, вырастил на своей полоске земли, был крайне низким из-за засухи.
Картер, однако, не унывал. У него была определенная инженерная квалификация, он стал изучать агрономические учебники, вспомнил свой подростковый опыт выращивания арахиса. Уже следующий урожай был изобильным. Созданная Картером ферма стала постепенно расширяться. Возник семейный бизнес, который включал не только выращивание, но также упаковку и продажу арахиса оптовикам. Розалин овладела бухгалтерской профессией. Через пару лет хозяйство стало давать прибыль, и даже был построен склад, на котором хранился арахис в ожидании наиболее выгодных цен.
Постепенно у Джимми Картера стал возникать интерес к политике. Связан он был, как и можно было предполагать, с острым в южном штате расовым вопросом. В 1954 г. Верховный суд принял решение по делу «Браун против Совета по образованию», которое осуждало сегрегацию негров в учебных заведениях. В Плейнсе и соседних городах и местечках юга стали проводиться собрания и митинги протеста против этого решения, в пользу дальнейшего отделения черных от белых в образовательных учреждениях. Картер не только отказывался принимать участие в них, но несколько раз высказался против сегрегации. В ответ местный Совет белых граждан принял решение бойкотировать картеровский склад, что, впрочем, существенно на бизнесе не отразилось, так как арахис закупали в основном оптовые торговые конторы из других мест. Правда, в связи с острыми заявлениями местных расистов в его адрес Картер присмирел и перестал открыто выражать свою позицию по расовому вопросу.
Однако обстановка и в стране в целом, и на юге в частности, быстро менялась. Расисты вынуждены были отступать. Картер и другие противники сегрегации осмелели и стали вновь выступать открыто. В 1961 г. Картер был избран председателем школьного совета графства Самтер, в которое входил Плейнс. В 1962 г. Картер выдвинул свою кандидатуру в Сенат штата Джорджия, причем поступил так всего за 15 дней до выборов. Вначале было объявлено, что он проиграл выборы, но пересчет голосов в связи с доказанными случаями фальсификации позволил уточнить результаты, и Картер занял место в законодательном органе.
Это было время президентства Дж. Кеннеди, который энергично выступал за равные гражданские права и пользовался популярностью по всей Америке, тем более после благоприятного завершения Кубинского кризиса. Картер объявил себя последователем и почитателем Кеннеди и в этом качестве стал несколько более энергично выступать против конкретных случаев сегрегации и дискриминации в целом, в частности при сохранявшихся еще в Джорджии тестах грамотности для допуска к избирательным урнам. Он вспоминал, что известие об убийстве Кеннеди повергло его в глубочайший траур.
В Сенате штата Картер установил много полезных знакомств, проявил себя как прилежный исполнитель директив демократических боссов. Он был избран в Исполнительный комитет парторганизации штата. А в легислатуре он возглавил Комиссию по планированию и развитию, которая занималась в первую очередь распределением федеральных средств и частных грантов на различные проекты, в частности на реставрацию исторических памятников.
В 1964 г. Джимми был переизбран в Сенат, где возглавил Комиссию по образованию и стал членом Комиссии по бюджету. Если раньше он предпочитал работать только в легислатуре, то теперь стал разъезжать по штату и вести себя как политик с возраставшими амбициями. В конце своего второго срока он объявил о намерении баллотироваться в федеральный Конгресс. Очень скоро он, однако, свое решение изменил, объявив, что будет добиваться поста губернатора Джорджии. Связано это было с тем, что республиканцы выдвинули на пост губернатора конгрессмена Роберта Галлавея, считавшегося сильным кандидатом. Консервативные демократы, хозяйничавшие в Джорджии после реконструкции, опасались утратить свои позиции. Они решили противопоставить Галлавею именно Картера, который вроде бы не имел конкретной политической окраски и мог угодить разным избирателям.