Klopp przez 18 lat był zawodnikiem, a później trenerem drugoligowego zespołu Mainz. Odszedł, gdy tej drużynie nie udało się awansować do ekstraklasy. Z Borussią podpisał dwuletni kontrakt.