Na stanowisku trenera zespołu Stars zastąpił on 11 lat młodszego Glena Gulutzana. Podczas długoletniej pracy w drużynie Sabres Ruffowi nigdy nie udało się zdobyć Pucharu Stanleya. W sezonie 1998/99 jego podopieczni dotarli do wielkiego finału, w którym przegrali z... Dallas Stars. W 2006 roku otrzymał nagrodę Jack Adams Trophy - dla najlepszego trenera w lidze NHL. Niedawno, ale bez powodzenia (porażka w ćwierćfinale 2:3 po karnych z późniejszymi triumfatorami turnieju Szwedami), prowadził reprezentację Kanady w mistrzostwach świata.