Największy sukces Grzesiak odniósł na igrzyskach olimpijskich w Tokio w 1964 roku, kiedy sięgnął po brązowy medal w kategorii lekkośredniej. W walce o awans do finału lepszy okazał się wówczas reprezentant Związku Radzieckiego Boris Łagutin. Były bokser Marian Kasprzyk w rozmowie z PAP przyznał, że dobrze pamięta tę walkę. "Józek mógł wtedy zdobyć złoto. Gdyby był tylko troszkę odważniejszy. To był wyrównany pojedynek dwóch podobnych sobie bokserów. Fajna walka. Nikt właściwie nie miał specjalnej przewagi. Zabrakło trochę szczęścia i odwagi. Myślę, że Józek mógł być już zadowolony z tego, że ma medal i trochę się rozluźnił. Szkoda, bo byłby złoty medal" - dodał Kasprzyk, który na tych samych igrzyskach w wadze półśredniej zdobył złoto. W sumie Grzesiak stoczył 198 walk, z których 157 wygrał, 27 przegrał i 14 zremisował. Na koncie miał trzy tytuły indywidualnego mistrza Polski oraz złoty medal drużynowych mistrzostw kraju z Gwardią Wrocław. "Józek był bardzo fajnym chłopakiem. Ja też jestem z Dolnego Śląska i zawsze się trzymaliśmy razem. Jak to się mówi - ciągnie swój do swego" - podkreślił Kasprzyk.