Ellis zdobył tytuł federacji WBA w 1968 roku, wygrywając na punkty z Jerrym Quarryem. W pierwszej obronie pokonał słynnego Floyda Pattersona, ale w 1970 roku przegrał z innym znakomitym pięściarzem Joe Frazierem. Później jeszcze raz uległ temu rywalowi, podobnie jak legendarnemu Muhammedowi Alemu (w latach 60. był jego sparingpartnerem). Karierę zakończył w 1975 roku. Ellis triumfował w 40 pojedynkach, przegrał 12, a zremisował 1. Był żonaty, miał sześcioro dzieci.