Джо родился в семье обычных рабочих, боксом увлекался с детства, до 20 лет выступал как боксер-любитель. В 1964 году Джо выигрывает золотую Олимпийскую медаль в супертяжелом весе, одолев по пути к финалу советского боксера - Вадима Емельянова. Так 20-летний американец заинтересовал профессиональный ринг.
С 1965 года Джо Фрейзер начал свою профессиональную карьеру, физические способности, скорость и реакция этого темнокожего парня так удивляли окружающих, что завсегдатаи профессиональных рингов дали прозвище «дымящийся Джо». Боксер действительно яростно справлялся со своими соперниками. Победа над Оскаром Борнавена в 1956 году, победа над Джорджем Чувало в 1968 году – и это далеко не полный перечень успехов Джо Фрейзера на профессиональном ринге.
В 1970 году Фрейзер становится Чемпионом Мира. А уже в 1971 впервые сражается с Али, нанося "Величайшему" первое поражение в карьере. Бой получил статус "Боя года" по версии жарнала "Ринг". В 1973 году Джо Фрейзер проигрывает техническим нокаутом Джорджу Форману, после чего на время уходит в тень, потеряв титул Чемпиона Мира. В 1974 и 1975 году Фрейзер опять боксировал с Мохамедом Али. В первой встрече боксеров была зафиксирована спорная победа Али по очкам, в то время как Фрейзер избивал Чемпиона все раунды. А во втором (1975) поединке, который проходил в Маниле, стояла невыносимая жара. Бой получил название "Триллер в Маниле", был объявлен "Боем года", победу чудом одержал Али, однако ни один из соперников не сдался и не упал.
Всего Джо Фрейзер провел 37 боев в супертяжелом весе, 32 из которых закончились абсолютной победой. В 1981 году состоялось кратковременное возвращение Фрейзера на большой ринг, однако во второй раз у спортсмена не вышло так хорошо, как в первый. Бывший боксер успел сняться в нескольких малоизвестных фильмах, таких как "Обитель Ангелов".
В 2011 году Великий Чемпион Джо Фрейзер скончался после долгой болезни. Боксер похоронен на кладбище в Филадельфии, штат Пенсильвания. Он был олицетворением силы и смелости. Не имея больших габаритов он бил таких Мастеров Ринга, как Мухаммед Али и Джордж Чувало. Имя спортсмена увековечено в Зале славы бокса.
