Przez ostatnie pięć sezonów występował w Montreal Canadiens, z krótką przerwą na grę w rosyjskim zespole z Kazania. Wcześniej reprezentował barwy m.in. New York Rangers i Pittsburgh Penguins. W ciągu 16 sezonów spędzonych na lodowiskach NHL Kowaliew zdobył 394 bramki, a łącznie z asystami zanotował 941 pkt. Dwukrotnie wystąpił w Meczu Gwiazd.