W latach 2001-2006 Rutten pracował w PSV jako trener grup młodzieżowych oraz był asystentem szkoleniowców pierwszego zespołu. Rutten zastąpi Dwighta Lodewegesa, który w grudniu przejął ekipę po zwolnionym Huubie Stevensie. Cztery kolejki przed zakończeniem rozgrywek w sezonie 2008/09 PSV zajmuje piąte miejsce w tabeli holenderskiej ekstraklasy, ze stratą 21 pkt do prowadzącego AZ Alkmaar.