Olsen, pomysłodawca i w latach 1995-2009 dyrektor cyklu Grand Prix, wywalczył swój pierwszy tytuł 10 września 1971 roku na stadionie Ullevi w Goeteborgu jako pierwszy Duńczyk w historii tej dyscypliny. Był również inicjatorem budowy stadionu Vojens Speedway Center, pierwszego obiektu klasy międzynarodowej w Danii, który osobiście otworzył w sierpniu 1975 roku po zdobyciu drugiego tytułu na Wembley. - Zainteresowanie żużlem na torze z prawdziwego zdarzenia i zawodnikami tej klasy co Ivan Mauger i Barry Briggs było wtedy tak duże, że kolejka po bilety miała aż 12 kilometrów długości - wspomniał Olsen. W sobotę każdy z kibiców, który ma na imię Ole, po wylegitymowaniu się w specjalnej kasie o nazwie "OLE", otrzyma bezpłatny bilet. Wśród tych osób przeprowadzona zostanie loteria, której główną nagrodą będzie "złoty kask" turnieju Zlata Prilba w Pardubicach, gdzie Olsen triumfował aż siedem razy. Obecnie jest dyrektorem ds. żużla przy Międzynarodowej Federacji Sportów Motocyklowych (FIM).