Restaurator i hotelarz z zawodu zagrał w mistrzostwach świata w Szwajcarii w 1954 roku jeden raz i zdobył bramkę w przegranym meczu eliminacyjnym Niemiec prowadzonych przez Seppa Herbergera, z ich późniejszymi finałowymi przeciwnikami Węgrami 3:8. Były kapitan Eintrachtu Frankfurt, zwany w piłkarskim światku "Don Alfredo", urodził się w pobliskim Roedelheim i występował w barwach Eintrachtu w latach 1948-1961. W 1959 roku wywalczył z kolegami tytuł mistrza kraju. W następnym roku zagrał w finale Pucharu Europy. Niemcy przegrali wtedy w obecności 130 tysięcy widzów na Hampden Park w Glasgow z Realem Madryt 3:7. Pfaff w latach 1953-1956 wystąpił w barwach Niemiec siedem razy. W 301 meczach Eintrachtu strzelił 103 bramki.