Только в возрасте 13 лет Джимми поступил в местную школу, считавшуюся полной средней, но дававшую лишь элементарные знания. До этого он занимался дома с родителями. Серьезного систематического образования молодой человек не получил, но пристрастился к чтению, главным образом развлекательной литературы. Как и большинство его соучеников, он занимался спортом, особенно увлекаясь баскетболом. Будучи здоровым и сильным юношей, начитавшись книг о морских приключениях, Джимми еще в школе мечтал о морской карьере. По окончании школы в 1941 г. он подал документы на поступление в Военноморскую академию в городе Аннаполисе.
В связи с тем, что в академию зачислялись юноши, достигшие 19 лет, и потому, что его школьный аттестат не удовлетворил академическое начальство, Картер стал только кандидатом и должен был перед этим пополнить свое образование. Два года он исправно занимался по инженерной специальности вначале в колледже в городе Америкус, а затем в Технологическом институте штата Джорджия в Атланте. В 1943 г. он, наконец, был принят в Военно-морскую академию, в которой учился удовлетворительно, ничем особым себя не проявил, считался слушателем сдержанным, тихим, послушно выполняющим приказы начальства. Он окончил академию в 1946 г., оказавшись по успеваемости и другим показателям 60-м из 820 и получив низшее военно-морское офицерское звание мидшипмена, которое равнозначно русскому гардемарину. Впрочем, почти сразу он был повышен в звании, став мичманом. Еще обучаясь в академии, Картер сблизился с Розалин Смит, подругой своей сестры Рут. Они договорились о браке и обвенчались сразу после того, как Джимми окончил академию.
Молодого офицера часто перебрасывали с одного корабля на другой. Он служил на Атлантическом и Тихом океанах. Розалин безропотно следовала за ним. Семья жила на военно-морских базах, к которым были приписаны корабли, где проходила служба Картера. С 1947 по 1952 г. в семье появились трое сыновей, а еще через 15 лет — дочь. Только она — Эми Картер — приобрела определенную известность, став историком искусств.
Лишь в 1949 г. Картер получил звание младшего лейтенанта, а еще через три года был прикомандирован к группе, которая готовилась к службе на атомных подводных лодках, находившихся пока только в процессе начальных испытаний. Как раз в то время был заложен первый в мире подводный корабль с атомным реактором «Наутилус» (
Группой руководил известный специалист по подводным лодкам капитан Хайман Риковер, родившийся в Российской империи и в раннем детстве вместе с родителями иммигрировавший в США. С 1949 г. он руководил программой создания атомных подводных лодок. Картер не раз говорил, что, помимо родителей, на его развитие наибольшее влияние оказал этот яркий человек, ставший позже четырехзвездным адмиралом, которого заслуженно считают отцом атомного военного флота США.
По решению Риковера осенью 1952 г. Картер был направлен в Вашингтон в Комиссию по атомной энергии для изучения работы создаваемых военно-морских атомных реакторов. Однако 12 декабря 1952 г. ошибка персонала лаборатории Чолк-Ривер в канадской провинции Онтарио привела к расплавлению активной зоны реактора, который был частично разрушен. Большое количество загрязненной воды попало на соседние пространства, возникла опасность, что радиоактивные массы окажутся в реке Оттава. Правительство Канады обратилось за помощью к США. Команду спасателей организовал Риковер. Картер был немедленно отозван из Вашингтона и направлен на место катастрофы. Как и другие члены команды, он в защитной одежде входил на несколько минут в поврежденный реактор и работал по очистке его от крайне опасных, зараженных элементов оборудования. Дисциплинированный офицер не уклонялся от этой работы, но на всю жизнь, как он позже говорил, возненавидел атомную энергию, тем более в ее военном варианте. Последнее можно поставить под сомнение, так как вскоре после инцидента, в марте 1953 г., Картер был направлен на шестимесячные курсы по подготовке операторов атомных реакторов в Скенектади, штат Нью-Йорк. Предполагалось, что он будет включен в экипаж второй атомной подводной лодки «Морской волк» (