Kovac rozpoczął karierę w Bundeslidze jako zawodnik FC Nuernberg, a później grał w Bayerze Leverkusen i Bayernie Monachium, zanim w 2005 roku przeszedł do Juventusu Turyn. W lipcu 2007 roku opuścił Serie A i wrócił do Niemiec, ale tym razem został graczem Borussii Dortmund.