À l'origine, la seconde était appelée "seconde minute", c'est-à-dire la seconde minute (c'est-à-dire petite) division d'une heure. La première division était connue sous le nom de "première minute" et est équivalente à la minute que nous connaissons aujourd'hui. Les troisième et quatrième minutes étaient parfois utilisées dans les calculs.
Le facteur 60 vient des Babyloniens qui utilisaient un système de chiffres sexagésimaux (base 60). Cependant, les Babyloniens n'ont pas subdivisé leurs unités de temps de manière sexagésimale (sauf pour le jour). L'heure avait été définie par les anciens Égyptiens comme étant soit 1/12 du jour, soit 1/12 de la nuit, les deux variant donc avec les saisons. Les astronomes grecs, par exemple Hipparque et Ptolémée, ont défini l'heure comme 1/24 de la moyenne d'un jour solaire. En subdivisant sexagésimalement cette heure solaire moyenne, on obtient le deuxième 1/86 400 d'un jour solaire moyen. []
Les périodes de temps grecques, par exemple le mois synodique moyen, étaient généralement spécifiées de manière assez précise parce qu'elles étaient calculées à partir d'éclipses soigneusement sélectionnées et séparées par des centaines d'années - les mois synodiques moyens individuels et les périodes de temps similaires ne peuvent pas être mesurés. Néanmoins, avec le développement des horloges à pendule qui gardent le temps moyen (par opposition au temps apparent affiché par les cadrans solaires), la seconde est devenue mesurable. Le pendule des secondes a été proposé comme unité de longueur dès 1660 par la Royal Society of London. La durée d'un battement ou d'une demi-période (un balancement, pas d'aller-retour) d'un pendule d'un mètre de long à la surface de la Terre est d'environ une seconde.
En 1956, la seconde a été définie en termes de période de révolution de la Terre autour du Soleil pour une époque particulière, car il était alors reconnu que la rotation de la Terre sur son propre axe n'était pas suffisamment uniforme comme norme de temps. Le mouvement de la Terre a été décrit dans les Tables du Soleil de Newcomb, qui fournissent une formule pour le mouvement du Soleil à l'époque 1900 basée sur les observations astronomiques faites entre 1750 et 1892. La seconde ainsi définie est
la fraction 1/31.556.925,9747 de l'année tropicale pour 1900 janvier 0 à 12 heures d'éphéméride.
Cette définition a été ratifiée par la onzième Conférence générale des poids et mesures en 1960. Dans la définition, l'année tropicale n'était pas mesurée, mais calculée à partir d'une formule décrivant une année tropicale qui diminuait de façon linéaire dans le temps, d'où la curieuse référence à une année tropicale instantanée spécifique. Comme cette seconde était la variable indépendante du temps utilisée dans les éphémérides du Soleil et de la Lune pendant la majeure partie du XXe siècle (les Tables du Soleil de Newcomb ont été utilisées de 1900 à 1983, et les Tables de la Lune de Brown de 1920 à 1983), elle a été appelée la seconde éphéméride.
Lorsque les horloges atomiques ont été fabriquées, elles sont devenues la base de la définition de la seconde, plutôt que de la révolution de la Terre autour du Soleil.
Après plusieurs années de travail, Louis Essen du National Physical Laboratory (Teddington, Angleterre) et William Markowitz de l'Observatoire naval des États-Unis (USNO) ont déterminé la relation entre la fréquence de transition hyperfine de l'atome de césium et la seconde éphéméride. En utilisant une méthode de mesure en vue commune basée sur les signaux reçus de la station radio WWV, ils ont déterminé le mouvement orbital de la Lune autour de la Terre, à partir duquel le mouvement apparent du Soleil pouvait être déduit, en termes de temps tel que mesuré par une horloge atomique. En conséquence, en 1967, la treizième Conférence générale des poids et mesures a défini la seconde du temps atomique dans le Système international d'unités (SI) comme
la durée de 9 192 631 770 périodes de rayonnement correspondant à la transition entre les deux niveaux hyperfins de l'état fondamental de l'atome de césium-133.
L'état du sol est défini à un champ magnétique nul. La seconde ainsi définie est équivalente à la seconde éphéméride.
La définition de la seconde a ensuite été affinée lors de la réunion du BIPM de 1997 pour inclure la déclaration
Cette définition fait référence à un atome de césium au repos à une température de 0 K.
La définition révisée semble impliquer que l'horloge atomique idéale contiendrait un seul atome de césium au repos émettant une seule fréquence. En pratique, cependant, la définition signifie que les réalisations de haute précision de la seconde devraient compenser les effets de la température ambiante (rayonnement du corps noir) dans laquelle les horloges atomiques fonctionnent et extrapoler en conséquence la valeur de la seconde telle que définie ci-dessus.