Le plus ancien exemple écrit de Castelsarrasin, comme Castel Sarracenum, date de l'année 961. Il a été écrit dans le testament de Raymond II du Rouergue où il a donné l'église Saint-Sauveur au monastère de Moissac.
Castel Sarracenum ("château sarrasin") a reçu ce nom parce que le château a été construit à l'époque sarrasine.
Il y a eu de nombreuses guerres au cours des premières années de l'histoire de la ville :
- contre les Anglais jusqu'à la fin du XIIe siècle ;
- la croisade des Albigeois pendant la première partie du 13ème siècle
- la croisade du berger de 1320, au cours de laquelle de nombreux Juifs qui vivaient dans la ville ont été tués.
Plus tard, la guerre de Cent Ans a touché la région. La plupart des habitants de la ville étaient catholiques, mais de nombreux protestants vivaient aux alentours de la ville. Les combats entre ces deux groupes étaient fréquents ici pendant les guerres de religion en France au XVIe siècle.
La région a été plus calme au cours des siècles suivants, jusqu'à l'époque de la Révolution française.
De 1790 à 1795, Castelsarrasin était le chef-lieu du district de Castelsarrasin, dans le département de la Haute-Garonne. En 1808, lors de la création du département du Tarn-et-Garonne, l'arrondissement de Castelsarrasin a été intégré au nouveau département.