Koller rozegrał w barwach narodowych 86 meczów i strzelił pięć bramek. W latach 50 i 60 ubiegłego wieku tworzył razem z Gerhardem Hanappim i Ernstem Ocwirkiem legendarną trójkę najszybszych zawodników. W rankingu występów w drużynie narodowej grający w pomocy Koller zajął czwarte miejsce. Więcej meczów od niego rozegrali Andreas Herzog (103), Anton Polster (95) i Gerhard Hanappi (93). W wieku 20 lat Koller przeszedł z ASK Blumau do stołecznej Vienny, w której zakończył karierę. W wiedeńskim klubie rozegrał 836 meczów i zdobył 101 bramek. W 1955 roku Koller z kolegami zdobył mistrzostwo kraju. W 2004 roku uznany został za najlepszego gracza Vienny w historii.