48-letni Loew podobnie jak Klinsmann przed laty zawodowo kopał w piłkę. Z tą tylko różnicą, że "Klinsi" był gwiazdą lig europejskich i reprezentacji Niemiec, a Loew grywał głównie na drugoligowych boiskach, a zamiast o dorosłą, otarł się o kadrę do lat 21. Po murawie gonił za piłką grając w takich klubach jak SC Freiburg, VfB Stuttgart, Eintracht Frankfurt, Karlsruher, FC Schaffhausen, FC Winterthur i FC Frauenfeld. Największy sukces - 3 miejsce w Bundeslidze - odniósł 27 lat temu z VfB. Na pierwszoligowych boiskach furory jednak nie zrobił, łącznie występując w 52 spotkaniach (7 bramek). O wiele lepiej przedstawia się za to dorobek Loewa w 2. Bundeslidze, w której rozegrał 252 mecze i 81 razy cieszył się ze strzelenia gola. Kiedy kariera zawodnicza Loewa zaczęła dobiegać końca zaczął bratać się z trenerką - w FC Frauenfeld, ostatnim przystanku w przygodzie z zawodem piłkarza, był grającym trenerem. Pierwszym sukcesem szkoleniowca był Puchar Niemiec zdobyty z VfB Stuttgart w 1997 roku. Rok później Loew poprowadził zespół do finału nieistniejącego dziś Pucharu Zdobywców Pucharów. Następnie pracował w tureckim Fenerbahce Stambuł, Karlsruher, Adanasporu i austriackiego Tirolu Innsbruck ,z którym w 2002 wywalczył mistrzostwo Austrii i Austrii Wiedeń. W sierpniu 2004 został asystentem selekcjonera reprezentacji Niemiec Jurgena Klinsmanna. Dwa lata później, po udanym dla kadry mundialu, zastąpił "Klinsiego" na stanowisku pierwszego trenera. Pod jego Niemcy jako pierwszy zespół eliminacji zapewnił sobie awans na mistrzostwa Europy.