Karierę rozpoczął w Chelsea, dla której w latach 1957-1961 strzelił 124 gole w meczach ligowych, a w samym sezonie 1960/61 zapisał na koncie 43, co do dziś jest rekordem klubowym. Rekordy bił również w innym londyńskim klubie - Tottenhamie, w którym grał w latach 1961-1970. Strzelił 266 goli, w tym 220 w ekstraklasie (łącznie w 379 meczach) i pozostaje na pierwszym miejscu w klasyfikacji strzelców klubowych. "W całej jego wspaniałej karierze wskaźnik celnych uderzeń Jimmy'ego był fenomenalny" - podkreślił w komunikacie Tottenham. Jimmy Greaves odszedł w wieku 81 lat W reprezentacji Anglii rozegrał 57 meczów i zdobył 44 bramki. Więcej strzelili tylko Wayne Rooney (53), Bobby Charlton (49) oraz Gary Lineker (48). W drużynie narodowej wystąpił w mistrzostwach świata w Chile w 1962 roku i cztery lata później w Anglii, gdzie gospodarze sięgnęli po tytuł mistrzowski. W tym drugim turnieju zagrał jednak tylko w pierwszym meczu z Francją, w którym doznał kontuzji. Jego miejsce w drużynie do końca mundialu zajął Geoff Hurst. "To było dla mnie druzgocące, że nie zagrałem w finale. Zawsze wierzyłem, że zdobędziemy Puchar Świata i że będę częścią drużyny, ale nie byłem" - powiedział Greaves w wywiadzie dla gazety "Mail on Sunday" w 2009 roku. Dopiero 43 lata po mistrzostwach świata w Anglii otrzymał medal razem z innymi "zapomnianymi bohaterami" - jak nazwały ich media - czyli piłkarzami z ławki rezerwowych, którzy zgodnie z obowiązującymi w 1966 roku przepisami nie byli nimi nagradzani. Greaves sprzedał go pięć lat później na aukcji za 44 tys. funtów. Od 2015 roku zmagał się z problemami zdrowotnymi po udarze mózgu.