La musique a été écrite par Haydn en 1797 comme l'hymne de l'Autriche. Elle s'appelait "Gott erhalte Franz den Kaiser" ("Dieu protège notre empereur François"). Les mots qui sont utilisés aujourd'hui ont été écrits par le poète August Heinrich Hoffman von Fallersleben en 1841.
Aujourd'hui, la première ligne "Allemagne, Allemagne avant tout" semble trop forte pour certains, et est souvent mal comprise. Fallersleben voulait une Allemagne unie lorsqu'il l'a écrite. À l'époque, l'Allemagne n'était pas un seul pays, mais plusieurs petits pays. Ainsi, "l'Allemagne avant tout" signifiait que la chose la plus importante à faire était d'avoir une Allemagne unifiée. De plus, le poète se trouvait à Heligoland, où les gens parlaient allemand mais étaient dirigés par les Britanniques.
La musique de Fallersleben était très populaire en Allemagne pendant la deuxième partie du XIXe siècle. Cette chanson n'était pas un hymne national à l'époque, mais une chanson pour les personnes qui aimaient l'idée d'une Allemagne forte et unie. En 1918, elle a remplacé l'hymne de l'Empire allemand "Heil Dir im Siegerkranz" ("Louange au vainqueur de la guerre"), lorsque l'empereur Guillaume II a perdu le pouvoir à la fin de la Première Guerre mondiale. En 1921, le poète Albert Matthai a écrit une "quatrième strophe", une nouvelle partie ou un nouveau vers, avec des mots sur la vie difficile en Allemagne à cette époque. Elle n'a pas été chantée très souvent.
A l'époque d'Hitler, seule la première partie de la chanson était utilisée. Elle était souvent suivie d'une chanson du parti nazi. Cette partie de la chanson était difficile pour certaines personnes qui n'étaient pas allemandes car elle contient des mots décrivant l'Allemagne comme un pays qui comprenait des terres qui se trouvaient dans d'autres pays.
Après la Seconde Guerre mondiale, l'Allemagne a été divisée en deux pays. En 1949, la nouvelle Allemagne de l'Ouest a essayé d'obtenir une nouvelle chanson pour l'hymne national. Une autre chanson a été choisie, écrite par le poète Rudolf Alexander Schröder. Elle n'a pas été très populaire. Finalement, la troisième partie de la chanson Fallersleben a été intégrée à l'hymne national.
Dans l'autre partie de l'Allemagne, l'Allemagne de l'Est, les paroles du poète Johannes R. Becher ("Auferstanden aus Ruinen" - "Reconstruit à partir des ruines") ont été utilisées avec une chanson écrite par Hanns Eisler. Elle n'était pas très populaire, et à partir des années 1970, les paroles n'ont plus été chantées, en raison de la phrase "Allemagne, [notre] patrie unifiée".
Après la réunification de l'Allemagne de l'Est et de l'Ouest en 1990, la chanson Fallersleben est redevenue l'hymne national de l'Allemagne, mais seule la troisième partie est utilisée. Aujourd'hui, la première partie de la chanson est populaire auprès des extrémistes nationalistes.