Rossi rozpoczął pracę w Palermo w listopadzie 2009 roku. 28 lutego 2011 roku został zwolniony po przegranej w Serie A z Udinese 0-7. Prezydent klubu Maurizio Zamparini stwierdził wówczas, że szkoleniowiec "zniszczył jego Palermo". Włoch wrócił jednak do sycylijskiego zespołu w kwietniu, gdy rozwiązano umowę z jego następcą Serse Cosmim, który poprowadził drużynę tylko w czterech spotkaniach i zdobył trzy punkty. Odszedł po porażce ligowej z Catanią 0-4. Po powrocie Rossi doprowadził Palermo do ósmego miejsca w Serie A. Dotarł z nim także do finału Pucharu Włoch, w którym jego piłkarze przegrali 1-3 z Interem Mediolan. Klub zdołał jednak wywalczyć kwalifikację do rozgrywek Ligi Europejskiej. Następca Rossiego, przymierzanego do pracy z Genoą, ma być znany w czwartek. Będzie nim najprawdopodobniej pracujący ostatnio w Chievo Werona Stefano Pioli.