W spotkaniach kończących nieudane eliminacje Euro 2012 - w piątek w Baku z Azerbejdżanem i za tydzień w Astanie z Kazachstanem - austriacką drużynę narodową poprowadzi jeszcze dyrektor sportowy federacji i tymczasowy trener Willi Ruttensteiner. W połowie września zastąpił on zwolnionego Dietmara Constantiniego. Od 1 listopada jego obowiązku przejmie Koller, który w nowej roli zadebiutuje w połowie tego miesiąca w towarzyskim meczu z Ukrainą we Lwowie. Koller ma za sobą pracę w szwajcarskich drużynach FC Wil, St. Gallen i Grasshoppers Zurych oraz niemieckich FC Koeln i VfL Bochum. Z tej ostatniej został zwolniony 20 września 2009 roku i od tego momentu nie szkolił żadnego zespołu, a komentował mecze w telewizji i pomagał w opracowaniu systemu komputerowego służącego analizie taktyki gry. Jako piłkarz wystąpił 56 razy w kadrze Helwetów i zdobył trzy gole. Wystąpił w mistrzostwach Europy w 1996 roku.