Hill a commencé à jouer en 1949 avec Brentford, faisant 87 apparitions avant de s'installer à Fulham en mars 1952. Il a disputé près de 300 matchs et marqué 52 buts. En 1957, il devient président de la Professional Footballers' Association (PFA)
En novembre 1961, après avoir pris sa retraite en tant que joueur à l'âge de 33 ans, Hill devient directeur de la ville de Coventry. Son passage à Coventry a été marqué par de grands changements au sein du club, surnommé "The Sky Blue Revolution".
Après avoir remporté le championnat de division 3 en 1963-64 et le titre de division 2 en 1966-67, Hill quitte le club peu avant le début de la saison 1967-68.
Après avoir quitté Coventry en 1967, Hill s'est lancé dans la radiodiffusion, en tant que conseiller technique de la BBC. En 1999, Hill est passé de la BBC à Sky Sports, où il a participé au supplément dominical de Jimmy Hill. Il s'agissait d'une émission de discussion hebdomadaire entre Hill et trois journalistes de football qui discutaient autour d'un petit déjeuner dominical.
En 2007, il a été remplacé de la série en raison de sa mauvaise santé.