Milner karierę rozpoczynał w Leeds w wieku 16 lat. Pierwsza bramkę w Premier League zdobył gdy miał 16 lat i 357 dni. Został tym samym najmłodszym strzelcem w angielskiej ekstraklasie, bijąc rekord Wayne'a Rooney'a. Gdy zespół Leeds spadł z ligi, Milner przeniósł się do Newcastle, skąd w sezonie 2005/2006 został wypożyczony do Aston Villi. Teraz podpisał z tym klubem definitywny kontrakt.