Но к реальным рабам Джонсон относился подобно подавляющему большинству белого населения своего штата: право собственности на них он под сомнение не ставил. После восстания рабов под руководством Ната Тернера в 1831 г. в Теннесси был созван специальный конвент штата, на котором был предложен проект новой конституции, предусматривавший лишение права голоса свободных черных жителей на том основании, что они являются, мол, фактическими врагами американского государства. Хотя Джонсон не был участником конвента, он выступал в пользу принятия новой конституции, которая была одобрена, а сам он, проявив теперь себя как сравнительно умеренный деятель, в 1833 г. стал членом Законодательного собрания штата, а в феврале 1834 г. был избран мэром Гринвилла.
За этим последовал дальнейший карьерный рост. Джонсон, правда, проиграл на выборах 1837 года, но через два года вновь был избран в Ассамблею штата, а затем в его Сенат. Казавшиеся смелыми оппозиционные выступления, вместе с неопределенностью политических связей (он выступал то как виг, то от имени Демократической партии) создали Эндрю репутацию смелого политика, готового ринуться в бой и отстоять свои принципы.
В 1843 г. он был избран в Палату представителей Конгресса США, в 1853–1857 гг. занимал пост губернатора Теннесси, а затем стал сенатором. Он активно выступал за бесплатное предоставление земельных участков американцам, желавшим заняться сельским хозяйством на территории новых штатов и других приобретенных земель. Его считают одним из авторов законодательных предложений о гомстедах, которые затем заимствовал Линкольн. Джонсон выступал в Сенате и по другим вопросам, но наибольшее количество страстных речей он посвятил именно аграрному продвижению на Запад на основе мелкой частной собственности. Он покинул Сенат за два месяца до того, как в мае 1862 г. был, наконец, принят внесенный Линкольном закон о гомстедах, о котором шла речь выше.
При всех недостатках и особенностях его политического пути Джонсон был сторонником сохранения и укрепления Союза в тот период, когда между севером и югом возникли глубокие противоречия, которые привели к расколу страны. Когда образовалась Конфедерация южных штатов и лидеры Теннесси примкнули к ней, Джонсон оказался единственным сенатором (из 22, представлявших юг), отказавшимся покинуть высший законодательный орган Союза и присоединиться к конфедератам. Его смелое поведение привлекло национальное внимание. Общественность севера одобряла поведение сенатора, тогда как на юге его проклинали.
Тем не менее весной 1862 г. Джонсон покинул Сенат, так как срок его полномочий истек, а выборы в конфедеративных штатах, уже ведших гражданскую войну с северными, не проводились. Эндрю Джонсон продолжил активную агитацию за сохранение единства США и в поддержку Линкольна. Он объявил себя «военным демократом» и «южным юнионистом», возглавив небольшую группу последователей, выступавших за союз с Республиканской партией. Его позиция привлекла внимание Линкольна, который несколько раз встречался с ним, а затем, уже в марте 1862 г., назначил военным губернатором Теннесси, часть которого была занята войсками федерации.
Джонсон некоторое время колебался, прежде чем принять президентское предложение. Это было связано с тем, что у большинства белого населения Теннесси сохранялось враждебное отношение к Линкольну и к армейским частям северян, которые, хозяйничая на занятых территориях, подчас скатывались до банальных карательных операций против местного населения. После непродолжительных раздумий он согласился и руководил штатом три года, до весны 1865 г. Он проводил сравнительно осторожную политику, стараясь не допустить мародерства и защищая интересы местного населения перед командирами воинских частей и центральным правительством.
К концу 50-х гг. амбициозный Джонсон стал подумывать о высшей государственной должности. Он вел переговоры о выдвижении на президентский пост в 1860 г., но отказался от своего намерения, поняв, что неизбежно проиграет авторитетному Линкольну и лишь испортит установившиеся с ним добрые отношения. Готовясь к выборам 1864 г., Линкольн решил подобрать в качестве кандидата в вице-президенты не представителя Республиканской партии, а такого деятеля, который продемонстрировал бы его стремление к созданию в руководстве США широкого политического союза. Обсуждались и другие кандидатуры из числа «военных демократов», но Линкольн остановился именно на Джонсоне, имея в виду его связь с югом и успешное военное руководство штатом Теннесси. Тот немедленно ответил согласием.