Urodzony w Johannesburgu Kolzig był graczem Capitals w latach 1989-2008 i do dziś jest posiadaczem klubowego rekordu - 711 występów, z których 301 kończyło się zwycięstwami jego zespołu. W 35 spotkaniach nie stracił gola. Dwa razy wybierano go na mecz All-Star NHL, a w 2000 roku otrzymał Vezina Trophy, nagrodę dla najlepszego bramkarza. W 2007 roku stołeczny klub ściągnął Christobala Hueta, który szybko zepchnął Kolziga do rezerw, co sprawiło, że ten w sezonie 2008/09 przeniósł się do Tampa Bay Lightning, gdzie zakończył karierę. Natomiast wróci do sztabu szkoleniowego Capitals po dwuletniej przerwie, bowiem wcześniej był już tam trenerem bramkarzy w sezonie 1996/97 i 2008/09.