Dillard jest jedynym lekkoatletą, który zdobył złote medale igrzysk w biegach na 100 m i 110 m przez płotki. Amerykanin zanotował serię 82 zwycięstw w biegach płotkarskich. Mimo to nie dostał się do reprezentacji USA w biegu na 110 metrów przez płotki na igrzyska w 1948 w Londynie. Już wówczas amerykański system wyłaniania reprezentacji był bezlitosny. W zawodach kwalifikacyjnych był poza czołówką, ale za to zajął trzecie miejsce na 100 m i w tej konkurencji wystąpił w stolicy Wielkiej Brytanii. W Londynie wywalczył złoto na 100 m i w sztafecie 4x100 m. Cztery lata później w Helsinkach znowu dwukrotnie stanął na najwyższym stopniu podium. Wygrał bieg na 110 m ppł i w sztafecie.