Urodzony 9 sierpnia 1938 roku w Essen swoją karierę szkoleniową rozpoczął w 1972 roku. Prowadził kolejno zespoły 1. FC Saarbruecken, Kickers Offenbach, Borussię Dortmund, Arminię Bielefeld, Fortunę Duesseldorf, Werder Brema, Bayern Monachium oraz 1.FC Kaiserslautern. Największe sukcesy zanotował w Bremie, gdzie dwukrotnie poprowadził Werder do mistrzostwa Niemiec (1988, 1993), a także dwukrotnie zdobył z tą drużyną Puchar Niemiec (1991, 1994). W 1992 roku trumfował z Werderem w Pucharze Zdobywców Pucharów. Pierwsze trofeum wywalczył opiekując się Fortuną Dusseldorf, z którą w 1980 roku zdobył Puchar Niemiec. Ostatnim wielkim triumfem Rehhagela było mistrzostwo Niemiec z FC Kaiserslautern (1998). Drużyna z Betzenberg była wtedy beniaminkiem Bundesligi! Jako piłkarz występował kolejno w TuS Helene Essen, Rot-Weiss Essen, Hercie Berlin, 1. FC Kaiserslautern. Rozegrał 821 spotkań, w których strzelił 22 bramki. Zaliczył również 2 występy w reprezentacji.