Ulubioną konkurencją Zimmermanna był zjazd, w którym triumfował właśnie na igrzyskach w Innsbrucku. Był wówczas o 0,74 s szybszy od srebrnego medalisty - Francuza Leo Lacroix. To najwyższa przewaga w historii olimpijskich zmagań w tej konkurencji. Dwa lata wcześniej w Chamonix Austriak wygrał rywalizację MŚ w slalomie gigancie. Jesienią 1964 roku Zimmermann uległ poważnemu wypadkowi i musiał opuścić cały sezon 1964/65. Później nie odzyskał już tak wysokiej formy. Po zakończeniu kariery wybudował czterogwiazdkowy hotel w Lech. Cierpiał na stwardnienie rozsiane, z którym skutecznie walczył dzięki opanowaniu chińskiego Qigong - sztuki koncentracji i kontroli oddechu.