Проектировался с середины 1920-х годов в Остехбюро ЦАГИ под руководством А. Н. Туполева — первоначально как цельнометаллический четырехмоторный транспортный самолет-моноплан (условное обозначение проектаТ1-4РТЗ), предназначенный для перевозки крупногабаритной военной техники на внешней подвеске. Впоследствии техзадание было пересмотрено и самолет превратился в тяжелый дневной и ночной бомбардировщик с возможностью использования в качестве транспортно-грузовой машины. По своей конструкции сильно напоминал предшественника, двухмоторный цельнометаллический моноплан ТБ-3 с гофрированной дюралевой обшивкой, толстым профилем крыла и неубирающимися тележками шасси (по штату на них должны были стоять огромные обтекатели). Первый полет опытный экземпляр самолета АНТ-6 совершил 22 декабря 1930 года. Модернизированный образец машины проходил государственные испытания с 10 января по 21 февраля 1932 года, после чего самолет был принят на вооружение ВВС РККА под обозначением ТБ-3, являясь на этот момент самым крупным в мире бомбардировщиком-монопланом. Серийно производился с 1932 года на заводах № 22 (в Филях) и № 39, первые 9 машин участвовали в первомайском параде 1932 года, а еще до этого были отдельно продемонстрированы итальянской военной делегации. С 1933 года моторы М-17 были заменены на более мощные М-34, а затем М-34Р. Часть самолетов изначально строилась в варианте транспортных или пассажирских (для правительственных перевозок) и сразу несли гражданские обозначения. В общей сложности с 1932 по 1937 год было построено 819 ТБ-3 всех модификаций.
Самолет широко использовался в качестве транспортно-десантной машины (на маневрах 1935 и 1936 годов), проводились эксперименты по созданию на его базе воздушного топливозаправщика и самолета-авиаматки. В 1937 году на вооружение была принята система «Звено-СПБ» («Составной пикирующий бомбардировщик»), включавшая самолет-носитель ТБ-3 последней модификации (с моторами М-34РН) и два подвешенных под него истребителя И-16, использовавшихся в качестве пикирующих бомбардировщиков с двумя бомбами по 250 кг каждый. Кроме того, самолет предполагалось использовать как береговой торпедоносец с подвеской двух 533-мм высотных торпед ТАВ-27 (так и не принятых на вооружение).
Со второй половины 1930-х годов бомбардировщики ТБ-3 первых модификаций в большом количестве передавались гражданской авиации, а также переоборудовались в транспортно-десантные. В десантном варианте машина брала на борт 20 парашютистов с полным вооружением и экипировкой — впоследствии эта цифра увеличилась до 32 и даже до 40 человек (без переоборудования штатный бомбардировщик ТБ-3 мог брать до 16 парашютистов). На внешней подвеске самолета мог размещаться легкий плавающий танк Т-37А либо Т-38, бронемашины Д-12 или ФАИ, грузовик ГАЗ-АА или 76-мм полевая пушка. В 1937 году под руководством Ж. Я. Котина проводились эксперименты по беспарашютному сбрасыванию плавающих танков с бреющего полета в воду.
В 1935 г. под Киевом ТБ-3 перевезли 3700 десантников с техникой, а на маневрах в Белоруссии — 5700 человек. Весной 1936 года в районе станции Оловянная в Забайкалье 29-й тяжелобомбардировочной авиабригадой комбинированным способом (на парашютах и посадочным методом на «захваченный» десантом аэродром) был выброшен стрелковый полк со станковыми пулеметами, противотанковыми, полевыми и безоткатными («динамо-реактивными») пушками. За следующий 1938 год 29-я ТБАБ, использовавшаяся в качестве транспортной, перевезла на Дальнем Востоке 570 человек и 136,4 т грузов
Самолет принимал участие в японо-китайской войне, в боевых действиях у озера Хасан и на Халхин-Голе, активно использовался в советско-финской войне 1939—1940 годов (в ходе нее было потеряно две таких машины). Во время присоединения к Советскому Союзу Бессарабии 29 июня 1940 года самолеты ТБ-3 из 7-го ТБАП высадили парашютные десанты в Болграде и под Измаилом.