Polyak zdobył medale olimpijskie na czterech kolejnych igrzyskach: srebrne w Helsinkach (1952), Melbourne (1956) i w Rzymie (1960) oraz złoty w Tokio (1964). Był trzykrotnym mistrzem świata. Po zakończeniu kariery zawodniczej pracował jako trener w klubie Ujpest Budapeszt.