Джонсон выдвинул свою кандидатуру в верхнюю палату в 1948 г., естественно, от штата Техас. Избирательная кампания была сложной, кандидат демократов, известный как сторонник прогрессивных реформ довоенного периода и «справедливого курса» Трумэна непосредственно после войны, теперь вел себя как умеренный консерватор, считаясь с настроениями в этом южном штате. Он одобрял антипрофсоюзный закон Тафта — Хартли, несмотря на то что Трумэн наложил на него вето (преодоленное Конгрессом). Он энергично участвовал в агитации, даже нанял вертолет, на котором быстро перемещался из одного района в другой. Само использование «джонсоновской мельницы», как прозвали это новое средство передвижения, в какой-то мере способствовало его кампании. Но победил он с огромным трудом. Позже появились свидетельства прямого обмана на выборах, подтасовки голосов на некоторых участках: только в графстве Бехзар, по утверждениям очевидцев, было «украдено» не менее 10 тыс. голосов.
Во всяком случае, Джонсон своего добился. В начале 1949 г. он появился в верхней палате Конгресса в качестве «молодого» сенатора. Он и по возрасту не был старым. Ему шел 40-й год. Уже вскоре было отмечено, что новый сенатор энергично «ухаживает» за авторитетными «стариками», все более отходя от рузвельтовских принципов. Он примкнул к консервативной группе во главе с представителем Джорджии Ричардом Расселом и голосовал по всем вопросам в соответствии с его установками. Уже в 1950 г. Джонсон вошел в Комитет по армейской службе, вскоре стал его председателем и провел ряд расследований по вопросам государственных расходов на армию. Об обнаруженных недостатках Джонсон сообщал прессе, и вскоре его имя стало появляться на первых полосах ведущих газет. Более того, администрация Трумэна сообщила, что расследования комитета Джонсона приняты во внимание и по ним будут изданы соответствующие распоряжения. После выборов 1950 г., на которых Демократическая партия добилась большинства, а Трумэн избран президентом, Джонсон стал вторым лицом в сенатской фракции. Он был избран уипом (
На промежуточных выборах 1952 г. большинство в Конгрессе завоевали республиканцы. Потерпел поражение и шеф Джонсона МакФарланд (вместо него был избран крайне консервативный республиканец Барри Голдуотер, который позже будет безуспешно бороться за президентский пост). В январе 1953 г. Джонсон был избран лидером меньшинства и стал самым молодым сенатором, который когда-либо получал этот пост. Первые его шаги в новом качестве были чуть ли не революционными. Издавна существовала система старших и младших сенаторов, определяемая годами пребывания в палате. От старшинства зависело выдвижение в комитеты, на посты их председателей и другие продвижения. Линдон предложил покончить с этой системой, считать всех сенаторов равными. Его предложение было принято, хотя при сопротивлении со стороны «стариков».
Победа демократов на выборах 1954 г. привела к тому, что Джонсон стал лидером сенатского большинства. Как такового его стал принимать президент Эйзенхауэр, с которым новый лидер сотрудничал, несмотря на то что принадлежали они к разным партиям. Политические аналитики отмечали большой вклад Линдона Джонсона в то, что политика Эйзенхауэра, особенно в международной области, носила двухпартийный характер.
В 1956 г., когда возник Суэцкий кризис и на территорию Египта вступили войска Великобритании, Франции и Израиля, в Конгрессе раздавались требования осудить эти действия как нарушающие суверенитет Египта. Джонсон приложил все силы, чтобы не допустить даже постановки этого вопроса на обсуждение, и добился успеха. Когда наметилось соревнование с СССР в космосе, Джонсон содействовал принятию в июле 1958 г. закона о создании НАСА, задачей которого было обеспечить приоритет США в этой области.