Изначально Ту-104 вмешал 50 человек, но таких машин в 1955–1957 годах выпустили очень немного, всего 20. Дизайн их салона был разработан супругой А.Н. Туполева и представлял собой своеобразный «авиапоезд» с уютными купе-люкс, рассчитанными на 6 и 8 мест, и салон 1-го класса в хвостовой части. На борту размещались также буфет, гардероб, женский и мужской туалеты. Такой уровень комфорта и сейчас кажется высоким, а тогда он воспринимался как нечто запредельное. Но от производства таких машин быстро отказались: выгоднее было плотно «забивать» фюзеляж большого самолета множеством кресел. Так появился Ту-104А (1957–1959, 70 мест), а позже и удлиненный Ту-104Б (1958–1960, 100 мест). Их планировка ничем принципиально не отличалась от планировки современных пассажирских самолетов. Именно 100-местная вариация и стала самой распространенной, в нее переделывали и ранние Ту-104А (они получали индекс Ту-104В). Пробовали эксплуатировать и 115-местные Ту-104Б-115, но такие самолеты оказались чересчур тесными, и с 1972 года было запрещено использовать на линиях машины, имеющие вместимость более ста мест.
В мае 1956 года первые Ту-104 начали поступать в «Аэрофлот». В сентябре рейсом Москва – Нью-Йорк началась эксплуатация на международных рейсах, в том же месяце Ту-104 полетел из Москвы в Хабаровск. Затем Ту-104 начал летать в Прагу, Берлин, Париж, Рим, Амстердам, Брюссель и другие зарубежные города.
К сожалению, вскоре произошли и первые аварии с участием новинки. В мае 1958 г. на чехословацком Ту-104 внезапно остановились в полете оба двигателя, после чего самолет падал с высоты 12 километров до 4. К счастью, тогда летчики смогли запустить один мотор и удачно сесть в Праге. В августе 1958-го разбился Ту-104 рейса Хабаровск – Иркутск, через два месяца – рейс Пекин – Москва. Это привело к специальному постановлению ЦК КПСС и Совете Министров СССР «О катастрофах самолета Ту-104 и мерах повышения безопасности полетов на этих самолетах». Были предприняты эксперименты, изучавшие срыв самолета в так называемую «турбулентность ясного неба». В итоге на Ту-104 улучшили управляемость и запас продольной устойчивости, экипажи оснастили противоштопорными парашютами. Исправлению недостатков очень помогли записи командира пекинского рейса Ту-104 Гарольда Дмитриевича Кузнецова, который до последнего момента продолжал комментировать в эфире все происходящее с падающим самолетом.
Существовало множество самолетов семейства Ту-104, предназначенных для различных задач. Так, на Ту-104АК готовили космонавтов к условиям невесомости, Ту-104А-ТС и Ту-104Б-ТС выполняли транспортно-санитарные функции. На летающих лабораториях Ту-104ЛЛ отрабатывались действия системы «Заслон» для истребителя МиГ-31. На Ту-104Ш велась подготовка штурманов.
На базе Ту-104 в 1958 году был построен единственный военно-транспортный самолет Ту-107, который получился очень удачным и установил 13 мировых рекордов. Однако в производство эта машина не пошла. Также не был запущен в серию 100-местный пассажирский самолет Ту-110, построенный в 1957-м и оснащенный четырьмя двигателями АЛ-7 в крыльях. Три экземпляра Ту-110 активно использовались как летающие лаборатории.
Единственной страной, эксплуатировавшей Ту-104, кроме СССР, была Чехословакия. Специально для нее построили серию из шести машин модификации А, три из которых были затем потеряны в катастрофах.
У Ту-104 в истории советской пассажирской авиации была особенная роль. В конце 1950-х реактивный пассажирский самолет сам по себе воспринимался как чудо техники, ведь такие машины только-только начинали эксплуатироваться в мире. Полет для пассажира превращался в комфортабельное, скоростное и недорогое путешествие, да еще на сверхсовременном виде транспорта, рождавшем гордость за страну. Поэтому Ту-104 стал своеобразным символом достижений СССР, воспринимался как технологический прорыв, безусловная победа. Название этого самолета на какое-то время стало почти нарицательным, оно попало в художественную литературу, песни, часто использовалось в рекламе. Финальная цифра 4 в индексе туполевских пассажирских самолетов стала своеобразным талисманом именно с времен Ту-104.