Na igrzyskach w Cortina d'Ampezzo w 1956 roku zajął czwarte miejsce w slalomie gigancie. W slalomie po pierwszym przejeździe przegrywał tylko o 0,2 s ze słynnym Austriakiem Tonim Sailerem, ale drugiej próby nie ukończył. W 1960 roku został wybrany najlepszym alpejczykiem świata. Dominował w tym sezonie na stokach, wygrywając zjazd, slalom i kombinację w Kitzbuehel, Val d'Isère, Sestriere i Val Gardena. Dwa lata później przeszedł na zawodowstwo. Trzykrotnie w tym gronie został mistrzem świata - w 1963, 1965 i 1969 roku. Był synem jednego z pierwszych instruktorów narciarskich we Francji, a ojcem Adriena Duvillarda juniora, zwycięzcy zawodów w zjeździe Pucharu Świata w Kvitfjell w 1993 roku. W 2011 roku został wyróżniony tytułem Sławy Sportu za całą karierę.