L'idée des canons ferroviaires a été suggérée pour la première fois dans les années 1860 par un certain M. Anderson. Il publia au Royaume-Uni un pamphlet intitulé "Défense nationale" dans lequel il proposait un plan de wagons de chemin de fer blindés. Un Russe, Lebedew, prétend avoir inventé l'idée en 1860 lorsqu'il aurait monté un mortier sur un wagon de chemin de fer. []
Le premier canon ferroviaire utilisé dans la bataille était un fusil de marine Brooke de 32 livres à bandes. Pendant la guerre de Sécession, il était monté sur un wagon plat et protégé par des feuilles de fer. Le 29 juin 1862, Robert E. Lee fit pousser le canon par une locomotive sur la ligne Richmond et York River (qui fit plus tard partie du Southern Railway) et l'utilisa à la bataille de Savage's Station. Il y a également une photo d'un mortier de siège Union de 13 pouces monté sur un wagon pendant le siège de Petersburg, en Virginie. Il était surnommé le Dictateur ou l'Express de Pétersbourg.
Les canons ferroviaires ont été utilisés par la France lors du siège de Paris en 1870, et par les Britanniques lors du siège de Ladysmith pendant la seconde guerre des Boers.
Première Guerre mondiale
L'Allemagne disposait déjà de quelques canons Big Bertha au début de la Première Guerre mondiale, mais les Français manquaient d'artillerie lourde de campagne. Les gros canons de défense côtière et les canons navals furent déplacés vers le front. Ils ne convenaient généralement pas à une utilisation sur le terrain et avaient besoin d'une sorte de montage. Le canon ferroviaire était une solution évidente. En 1916, les deux camps utilisaient des canons de chemin de fer.
Baldwin Locomotive Works a fabriqué cinq canons ferroviaires de calibre 14"/50 sur des trains pour la marine américaine en avril et mai 1918. Chaque train transportait un canon Mk 4 de calibre 14"/50. Il s'agissait d'un fusil naval de 14 pouces (360 mm) utilisé sur les cuirassés de classe New Mexico et Tennessee, monté sur un wagon avec quatre bogies à 6 roues. L'un de ces canons est exposé à l'extérieur du musée au Washington Navy Yard.
La Seconde Guerre mondiale
La Seconde Guerre mondiale a vu l'utilisation finale des canons ferroviaires. Les Allemands ont utilisé le canon massif Schwerer Gustav de 80 cm, la plus grande pièce d'artillerie utilisée dans les batailles. L'essor de l'avion a effectivement mis fin à l'utilisation des canons de chemin de fer. Comme les cuirassés, ils étaient grands, chers et facilement détruits du haut des airs.