Existant depuis au moins le 5e siècle avant J.-C., Rodez a été fondée par un peuple celte, les Ruteni. Ils y ont construit un oppidum (place fortifiée) qui, après l'occupation romaine, a été nommé Segodunum ("place fortifiée", "haute colline"). La ville a ensuite reçu le nom de Civitas Rutenorum ("Ville des Ruteni"), puis seulement Ruteni et, enfin, Rodez.
Après la chute de l'Empire romain d'Occident, la ville est prise par les Wisigoths puis par les Francs ; en 725, les Maures s'emparent de la ville et détruisent la vieille église. Plus tard, elle fut occupée par les armées des ducs d'Aquitaine et des comtes de Toulouse. Les troupes anglaises occupent Rodez pendant la guerre de Cent Ans.
Avec la création du département de l'Aveyron en 1790, Rodez devient préfecture du département.