Prowadzony przez Phelpsa Cadillac Escalade zderzył się Hondą Accord. Zawodnik i towarzysząca mu osoba wyszli z wypadku bez szwanku, natomiast kierująca Hondą kobieta trafiła do szpitala na obserwację. Policja bada okoliczności zdarzenia i nie określiła jeszcze, kto zawinił. Wiadomo, że Phelps był trzeźwy. W listopadzie 2004 roku, niedługo po tym jak w ateńskich igrzyskach zdobył sześć złotych i dwa brązowe medale, Phelps został zatrzymany przez policję gdy prowadził samochód w stanie nietrzeźwym. W tym roku byłł zawieszony na trzy miesiące za palenie marihuany.