W MŚ '1954 w Szwajcarii Schaefer strzelił cztery bramki, m.in. w półfinale z Austrią 6-1. Cztery lata później na szwedzkich boiskach Niemcy zajęli czwarte miejsce, przegrywając decydujące spotkanie z Francją 3-6. Jednego z goli zdobył Schaefer. Trafienie zaliczył również m.in. w 1/2 finału z gospodarzami (1-3). W kadrze debiutował w 1952 roku w meczu towarzyskim ze Szwajcarią. Ostatnim występem był ćwierćfinał MŚ '1962 z Jugosławią, przegrany 0-1. Jego łączny dorobek to 39 spotkań i 15 goli w reprezentacji. 16 razy był kapitanem drużyny narodowej. W latach 1948-1965 Schaefer grał w 1. FC Koeln. Mistrzostwo zdobył w 1962 i 1964 roku. Mając 35 lat został wybrany najlepszym piłkarzem roku w Niemczech.