Однако два года спустя Фрэзер уверенно сел на чемпионский трон, победив Эллиса. В нью-йоркском «Мэдисоне» 18 тысяч зрителей заплатили за этот матч 645 тысяч долларов. Фаворитом был Фрэзер. Ставки за него принимали в пропорции 4:1 и даже 6:1. Перед матчем Фрэзер весил 93 кг, а Эллис — 91 кг. В четвёртом раунде Эллис после мощной серии Фрэзера в голову «отдыхал» до счёта «восемь». Через 30 секунд левый боковой Фрэзера вновь бросает чемпиона на пол. И тренер Эллиса Анджело Данди отказался от продолжения поединка. Но во время отсчёта ударил гонг, отказ секунданта от продолжения боя последовал позже. Поэтому в протоколах было зафиксировано: «победил техническим нокаутом в пятом раунде Джо Фрэзер». Было это шестое поражение Эллиса в 37 поединках. Кроме Д. Фрэзера его побеждали: Холли Мимс (1961 г.), Генри Ханк (1962 г.), Рубин Картер, Дон Фулмер и Джордж Бентон (1964 г.).
«Танк» Фрэзер
В октябре 1964 года из Токио пришло неожиданное сообщение: неизвестный американский тяжеловес негр Джо Фрэзер победил одного из фаворитов Олимпийского турнира — ленинградца Вадима Емельянова, а в следующем бою завоевал золотую медаль. В Европе до этого никто о Фрэзере не слышал, да и в США говорили о нём не много, считая своим первым номером среди любителей 134-килограммового колосса Бастера Матиса. Однако накануне Олимпиады гигант сломал руку, и в последний момент в сборную был включён Джо Фрэзер.
Боксёром Джо стал совершенно случайно. В юности его постоянно беспокоил собственный вес, который к 18-летию спортсмена достиг 107 кг. Это обстоятельство и привело Джо в спортивный зал. Там он присоединился к одной из боксёрских групп. С большим пылом прыгал со скакалкой и бил тренировочный мешок. На его увлечённость обратил внимание инструктор Янки Дурхэм и с целью испытания применил старый тренерский метод: «обстрел» новичка в боях с опытными спарринг-партнёрами. Джо Фрэзер, юноша по натуре спокойный, деликатный, попал в жестокую переделку. Тренеру даже показалось, что он переборщил, — вряд ли Фрэзер будет ходить на такие «тренировки». Но тот приходил, и Я. Дурхэм поверил в молодого спортсмена.
Спустя шесть месяцев, весной 1962 года, Джо первый раз принял участие в официальной любительской встрече, а закончил карьеру любителя на токийской Олимпиаде. Как любитель он провёл 41 бой и проиграл из них только 3 (Б. Матису — дважды и М. Галбрайту).
В качестве профессионала Фрэзер дебютировал в Филадельфии 16 августа 1965 года, нокаутировав в первом же раунде Вуди Госса. Обладая большой для тяжеловеса скоростью и страшной силы ударом левой, он из 25 профессиональных боёв не проиграл ни одного, 22 закончил нокаутом. С кулаками Джо «знакомы» Э. Мачен, О. Бонавена, Б. Даниэльс, Д. Эллис, Д. Кворри, Б. Матис, Б. Фостер и другие асы профессионального ринга.
В сентябре 1970 года Верховный суд США удовлетворил наконец протест адвокатов Мохаммеда Али, и в октябре знаменитый спортсмен снова вернулся на ринг, чтобы доказать свою силу и правоту. В Атланте (штат Джорджия) Али победил Джерри Кворри, а в декабре в Нью-Йорке — Оскара Бонавену. Теперь он спешил вернуть корону чемпиона. Матч был назначен на март 1971 года.
Узнав об этом, экс-чемпион мира Макс Шмелинг сказал журналистам: «Я знаю класс Али, он произвёл на меня впечатление в победных матчах с Листоном и многими другими. Фрэзера я видел только по телевидению, когда он победил Эллиса и Фостера. И всё же в этом бою я ставлю на Фрэзера. И вот почему. Али сделал большую ошибку, слишком рано согласившись на подписание контракта на такой безумно трудный бой. 43-месячный перерыв в выступлениях Али даёт Фрэзеру большое преимущество. Три раунда с Кворри не убеждают в обратном, а матч с Бонавеной показал, что Али ещё далёк от своей лучшей формы».
15-раундовый поединок был назначен на 8 марта в нью-йоркском зале «Мэдисон сквер-гарден». Было объявлено, что оба боксёра получат самый большой гонорар за всю историю спорта — по 2,5 миллиона долларов.
Оба боксёра приехали подписывать контракт в один из ресторанов на Манхэттене, где их уже ждали репортёры и фотографы. Все знали, что даже если боксёры и не питают взаимной неприязни, они всё равно должны будут пошуметь, покричать, «завести» друг друга. Так и случилось. Али вошёл в зал, громко крича: «Если он ударит меня — он будет лучше всех. Мы посмотрим, кто из нас чемпион. Если он достанет меня настоящим ударом — я стану на колени и скажу: „Ты чемпион“. Но у него нет ни малейшего шанса победить меня». Фрэзер не остался в долгу: «Могу предсказать, что вы не увидите пятнадцати раундов. Я остановлю его между первым и десятым раундами».
Последнее слово осталось за Мохаммедом Али. Он назвал соперника «любителем», который ещё не нюхал настоящего бокса. Фрэзер, однако, был настроен очень решительно. Вот как высказывалась американская газета «Дейли уорлд». «Он неплохой парень, — пишет газета о Фрэзере, — честный, не уклоняется от боя с Али, сознавая, что чемпионский титул, которым он владеет, без матча с Али всерьёз не принимался».