La Colombie est sur la ligne de front de la chute des Appalaches. La ligne de chute est l'endroit où les bateaux ne peuvent pas aller plus loin en amont, et c'est aussi l'endroit le plus éloigné en aval où l'eau qui tombe peut utilement alimenter un moulin.
Avant 1790, la capitale de l'État était Charleston, sur la côte de l'océan Atlantique. En 1786, la législature a décidé de déplacer la capitale au centre de l'État, et le site de Columbia a été choisi pour son emplacement sur la rivière, à seulement 21 km au nord-ouest du centre géographique de la Caroline du Sud. La législature de l'État s'y est réunie pour la première fois en 1790. Après être resté sous le gouvernement direct de la législature pendant les deux premières décennies de son existence, Columbia a été constitué en village en 1805, puis en ville en 1854. La Colombie a reçu une forte impulsion au développement lorsqu'elle a été reliée à Charleston par une voie d'eau directe, le canal de Santee. Ce canal reliait les rivières Santee et Cooper sur un tronçon de 35 km (22 miles). Il a été affrété pour la première fois en 1786 et achevé en 1800, ce qui en fait l'un des premiers canaux des États-Unis. Avec l'augmentation du trafic ferroviaire, il a cessé de fonctionner vers 1850.
La Colombie a été l'une des premières villes planifiées aux États-Unis. Elle est connue pour ses larges rues.
Le 17 février 1865, pendant la guerre civile, un incendie a détruit une grande partie de la Colombie alors qu'elle était occupée par les troupes de l'Union sous le commandement du général William Tecumseh Sherman.
Le XXe siècle a vu l'émergence de la Colombie en tant que centre régional de fabrication de textiles. Dans les années 1920, les hommes d'affaires colombiens ont construit un grand barrage sur la rivière Saluda pour produire de l'énergie hydroélectrique. Le barrage, qui utilise le sol et le substratum d'argile rouge indigène, était le plus grand barrage en terre du monde lorsqu'il a été achevé en 1930. Le lac Murray, formé par le barrage, mesure 66 km de long et 23 km de large à son point le plus large. À l'époque où le lac a été achevé, il était le plus grand réservoir artificiel du monde. L'entreprise qui a construit le barrage s'est développée pour devenir SCANA Corporation, l'un des plus gros employeurs de Colombie.
La ville de Columbia a récemment réalisé un certain nombre de projets de réaménagement et en a prévu plusieurs autres. Le Congaree Vista, un quartier historique de 5 km2 qui s'étend du quartier central des affaires vers la rivière Congaree, comprend un certain nombre de bâtiments historiques qui ont été réhabilités.