У Эндрю были старший брат Уильям и старшая сестра Элизабет, которая умерла в раннем детстве. Когда Эндрю было три года, отец умер от сердечного приступа. Вскоре мать вновь вышла замуж, но это не улучшило положения семьи, так как второй муж был таким же бедняком, как и первый. С детских лет Эндрю вынужден был вместо учебы помогать семье. В десять лет он вместе с братом был определен подсобным рабочим в магазин, а через три года отдан в ученики к портному. Это была двойная удача: овладев ремеслом, он мог несколько повысить свой социальный статус, став из рабочего ремесленником, но главное, портной стал обучать его грамоте. Договор с портным был заключен на шесть лет, но через два года Эндрю вместе с братом просто сбежали. Возмущенный портной пытался вернуть их и даже дал объявление в местную газету, обещая вознаграждение за их поимку. Возвратить их, однако, не удалось. Эндрю перебрался в небольшой северокаролинский городок Картидж, но надолго там не задержался и двинулся дальше, вначале в Южную Каролину, а затем, подобно десяткам тысяч других искателей лучшей доли, на неосвоенные земли Запада.
Пройдя пешком сотни миль, перевалив через Голубой хребет, он в конце концов осел в западной гористой части Теннесси в Гринвилле. Городок ему понравился тем, что его здесь приняли как специалиста: портных в городе почти не было, а одежда, которую шил молодой человек, пришлась по вкусу местным жителям. Он довольно быстро стал уважаемым жителем и основал собственный портняжный бизнес. Доходы были не велики, но все же Эндрю смог перевести в свой новый город мать и отчима, которые стали помогать в ведении дела. Постепенно бизнес расширялся. Джонсон стал заниматься коммерцией, покупать акции, играть на бирже. Крупным собственником он не стал, но превратился в процветающего средней руки бизнесмена. Он нанял помощников и слуг, а сам сосредоточился на ответственной работе закройщика и позже хвалился своим мастерством. «Мои изделия не рвались и долго не изнашивались», — рассказывал он.
Еще в 1827 г., в возрасте 18 лет, он женился на 16-летней Элизе МакКардл, дочери сапожника, которая была грамотной и стала обучать молодого супруга элементарным знаниям — вначале грамматики и арифметики, а затем и более сложным материям. Эндрю оказался способным учеником. Хотя он никогда не посещал учебные заведения, он стал писать почти без ошибок, пристрастился к книгам, а главное, постепенно овладевал ораторским искусством, тому, как лучше донести свои мысли до аудитории в простой форме. Он с особым интересом читал книги о видных ораторах, тайком тренировался в произнесении речей и в ведении споров, а затем переносил вроде бы приобретенные навыки на политические диалоги со своими клиентами.
Властный по природе и не терпевший возражений в обыденной жизни, он уже в молодом возрасте стал подумывать о карьере политика, и Элиза полностью была с ним в этом согласна. Застенчивая по природе, не любившая застолий и массовых сходок, она с охотой занималась домашним хозяйством и воспитанием детей в то время, как муж постепенно переходил от портняжества к политике. В семье родились две дочери и трое сыновей. Из них определенную известность получила только старшая дочь Марта, которая вышла замуж за сенатора Дэвида Пэттерсона и в период президентства своего отца по существу выполняла роль первой леди (или, как говорили американцы, первой дочери) в Белом доме в связи с болезненным состоянием матери (она болела туберкулезом) и ее нежеланием вести публичную жизнь. Судьба двух сыновей была незавидной: они стали алкоголиками, к тому же один из них страдал туберкулезом, унаследованным от матери. Сыновья умерли в сравнительно молодом возрасте — двое еще при жизни отца (сын Роберт покончил самоубийством).
Стремление начать карьеру политика у Джонсона стимулировалось совпадением его имени и сходством фамилии со знаменитым президентом Эндрю Джексоном, который также жил в Теннесси. Портному льстило, когда не очень образованные клиенты спрашивали его, не является ли он потомком прославленного деятеля. Обычно он отвечал уклончиво, что можно было принять за излишнюю скромность.
Когда в 1829 г. в Гринвилле проходили муниципальные выборы, Эндрю создал Общество механиков, от которого выставил свою кандидатуру. Он был избран членом муниципалитета, носившего название Совета старейшин. Здесь он оттачивал ораторское мастерство, выступая против владельцев хлопковых плантаций и других крупных собственников, говоря о тяготах простого народа и защищая интересы ремесленников, мелких торговцев и рабочих. Его речи были полны негативных эмоций, ощущалось, что он ненавидит угнетателей и, как свидетельствовали некоторые современники, просто им завидует. Выступления Джонсона отличались грубостью, оскорбительной терминологией. Он явно примерял на себя поговорку «Нет худшего господина, чем бывший раб».