Le Japon a été le premier pays à construire des lignes de chemin de fer pour les déplacements à grande vitesse. Comme le Japon compte de nombreuses montagnes, le réseau qui existait déjà était constitué de lignes à écartement étroit de 1 067 mm (3'6"), qui avaient tendance à emprunter des itinéraires non directs et ne pouvaient pas être adaptées à des vitesses plus élevées. De ce fait, le Japon avait un plus grand besoin de nouvelles lignes à grande vitesse que les pays où le système ferroviaire existant à écartement normal ou à voie large pouvait être facilement modernisé. Contrairement aux anciennes lignes, les lignes du Shinkansen sont à écartement normal et utilisent des tunnels et des viaducs pour franchir des obstacles plutôt que de les contourner.
La construction de la première section du Tokaido Shinkansen entre Tokyo et Osaka a commencé en 1959. La ligne a été ouverte le 1er octobre 1964, juste à temps pour les Jeux olympiques de Tokyo. La ligne a connu un succès immédiat, atteignant la barre des 100 millions de passagers en moins de trois ans le 13 juillet 1967 et un milliard de passagers en 1976.
Les premiers trains du Shinkansen roulaient à des vitesses allant jusqu'à 200 km/h (125 mph), puis sont passés à 220 km/h (135 mph). Certains de ces trains, à l'aspect classique en forme de nez de balle, sont encore utilisés pour les services d'arrêt entre Hakata et Osaka. Une voiture de l'un des trains originaux se trouve maintenant au British National Railway Museum à York.
De nombreux modèles de trains plus avancés ont suivi le premier type, généralement chacun avec son propre aspect. Les trains Shinkansen circulent maintenant régulièrement à des vitesses allant jusqu'à 300 km/h, ce qui les place parmi les trains les plus rapides du monde, avec le TGV français et l'ICE allemand.
Initialement destinées à transporter des trains de passagers et de marchandises de jour comme de nuit, les lignes du Shinkansen ne transportent que des trains de passagers. Le système s'arrête entre minuit et 6 heures tous les jours pour permettre la maintenance, y compris la circulation des trains de test Doctor Yellow. Les quelques trains de nuit qui circulent encore au Japon circulent sur l'ancien réseau à voie étroite auquel le Shinkansen est parallèle.
En 2003, JR Tokai a rapporté que l'heure d'arrivée moyenne du Shinkansen était de 6 secondes inférieure à l'heure prévue. Ce chiffre inclut tous les accidents et erreurs naturels et humains et est calculé à partir d'environ 160 000 voyages effectués par le Shinkansen. Le record précédent datait de 1997 et était de 18 secondes.
Le premier déraillement d'un train Shinkansen en service passagers s'est produit lors du tremblement de terre de Chuetsu le 23 octobre 2004. 6 des 8 wagons du train du Joetsu Shinkansen ont déraillé près de la gare de Nagaoka à Nagaoka, Niigata.