Blisko podium Polacek był również podczas igrzysk olimpijskich w Tokio (1964), gdzie w ćwierćfinale został pokonany przez Aleksieja Kisielowa; o finał radziecki pięściarz wygrał walkę z Pietrzykowskim. Złoto w półciężkiej wywalczył wówczas Włoch Cosimo Pinto. "Starsi sąsiedzi mówili, że ojciec latem codziennie trenował w trzech parach dresów, marynarce oraz czapce. W krótkim czasie zrzucał sporo kilogramów, by móc rywalizować w niższej kategorii" - wspominała córka Polacka, Sabina. Pod koniec lat 60. pięściarz dawnej Czechosłowacji wyemigrował do Monachium. Ostatnie lata życia spędził w domu opieki. Na wiosnę jego prochy mają wrócić do Brna.