53-letni Schaaf jako zawodnik, a później jako trener związany był z jednym klubem - Werderem. Pierwszym szkoleniowcem tego zespołu był w latach 1999-2013. Największy sukces odniósł w 2004 roku, kiedy zdobył mistrzostwo kraju i Puchar Niemiec. W roku 2005 hiszpańska gazeta "AS" uznała go za jednego z najlepiej rokujących w przyszłości trenerów. 15 maja 2013 roku opuścił Werder po zajęciu 14. miejsca w Bundeslidze. Kontrakt został rozwiązany za porozumieniem stron. Przez ostatni rok nigdzie nie pracował. Eintracht Frankfurt zajął w tym sezonie 13. lokatę w tabeli, co uznano za wynik znacznie poniżej oczekiwań. Ich celem na kolejny rok jest zajęcie pozycji, która da im udział w europejskich pucharach.