La ville porte le nom de la rivière (en ancien russe : гра́д Моско́в, qui signifie "la ville au bord de la Moskva"). Le début du nom n'est pas connu, mais certaines personnes ont quelques idées. L'une d'entre elles est que le nom pourrait provenir d'une très ancienne langue finlandaise, dans laquelle il signifie "sombre" et "nuageux". La première référence russe à Moscou remonte à 1147, lorsque Youri Dolgorouki a appelé le prince de Novgorod-Severski (Novgorod Nord) à "venir à moi, mon frère, à Moscou".
Neuf ans plus tard, en 1156, le prince Yuri Dolgoruki ordonna la construction d'un mur en bois, qui dut être refait plusieurs fois, pour faire le tour de la ville en pleine expansion. Après l'attaque de 1237-1238, lorsque les Mongols brûlèrent la ville et tuèrent ses habitants, Moscou se développa à nouveau et devint la capitale de la principauté de Vladimir-Suzdal (une étendue de terre dirigée par un prince) en 1327. Sa bonne situation au début de la Volga a permis à la ville de s'agrandir lentement. Pendant de nombreuses années, Moscou s'est transformée en une principauté paisible et riche, connue sous le nom de Grand-Duché de Moscou, et un grand nombre de personnes venues de toute la Russie s'y sont installées.
Sous Ivan Ier, la ville a remplacé Tver comme centre politique de Vladimir-Suzdal et est devenue le seul collecteur d'impôts pour les dirigeants mongolo-taars. En payant des impôts élevés, Ivan a conclu un accord important avec le Khan. Contrairement à d'autres principautés, Moscou n'a pas été divisée entre ses fils mais a été transmise en totalité à son aîné. Cependant, Moscou n'aimait pas la domination mongole. En 1380, le prince Dmitri Donskoï de Moscou a mené une armée russe à une victoire importante sur les Tatars lors de la bataille de Koulikovo. Seulement deux ans plus tard, Moscou a été attaquée par le Khan Tokhtamysh. En 1480, Ivan III a finalement libéré les Russes du contrôle des Tatars, permettant à Moscou de devenir le centre du pouvoir en Russie. Sous Ivan III, la ville est devenue la capitale d'un empire qui allait finalement inclure toute la Russie et d'autres pays.
En 1571, les Tatars de Crimée ont fait un raid sur Moscou, brûlant tout sauf le Kremlin.
En 1609, l'armée suédoise, dirigée par le comte Jacob De la Gardie et Evert Horn, a marché de Veliky Novgorod vers Moscou pour aider le tsar Vasili Shuiski. Ils entrèrent à Moscou en 1610 et arrêtèrent la révolution contre le tsar, mais partirent au début de l'année 1611. Après cela, les Polonais ont envahi la ville. Pendant la guerre polono-muscovite (1605-1618), hetman (commandant de l'armée) Stanisław Żółkiewski est entré à Moscou après avoir vaincu les Russes à la bataille de Klushino. Le 17e siècle a connu de nombreuses révolutions, comme l'émeute du sel (1648), l'émeute du cuivre (1662) et le soulèvement de Moscou de 1682.
La peste de 1654-1656 a tué la moitié de la population de Moscou. La ville a cessé d'être la capitale de la Russie en 1712, après la construction de Saint-Pétersbourg par Pierre le Grand près de la côte baltique en 1703. La peste de 1771 a été la dernière grande peste en Russie centrale, tuant 100 000 personnes rien qu'à Moscou. Lors de l'invasion française de la Russie en 1812, les Moscovites ont brûlé la ville et se sont enfuis, alors que l'armée de Napoléon s'approchait de la ville le 14 septembre. L'armée de Napoléon, qui avait très faim et froid, a dû partir et a été presque détruite par l'hiver russe glacial et quelques attaques de l'armée.
En janvier 1905, Alexandre Adrianov devient le premier maire de Moscou. Après la révolution russe de 1917, le 12 mars 1918, Moscou est devenue la capitale de l'Union soviétique. Pendant la Seconde Guerre mondiale (connue en Russie sous le nom de Grande Guerre patriotique), après l'invasion allemande de l'URSS, le Groupe de défense de l'État soviétique et les commandants de l'Armée rouge ont été placés à Moscou.
En 1941, 16 groupes de volontaires nationaux (plus de 160 000 personnes), vingt-cinq bataillons (18 500 personnes) et quatre régiments de génie ont été créés parmi les Moscovites. En novembre de la même année, l'armée allemande est arrêtée aux abords de la ville, puis repoussée lors de la bataille de Moscou. De nombreuses usines ont été déplacées, ainsi qu'une grande partie du gouvernement, et à partir du 20 octobre, la ville a été déclarée assiégée. Ses habitants, qui sont restés sur place, ont construit et utilisé des défenses antichars, tandis que la ville était bombardée depuis les airs. Joseph Staline (le leader de la Russie) n'a pas quitté la ville, donc l'état-major est resté dans la ville également. Malgré le siège, la construction du métro de Moscou se poursuit pendant la guerre et, à la fin de la guerre, quelques nouvelles lignes de métro sont ouvertes.
Le 1er mai 1944, une médaille pour la défense de Moscou et en 1947 une autre médaille en mémoire du 800e anniversaire de Moscou ont été remises à Moscou. En commémoration du 20e anniversaire de la victoire sur l'Allemagne nazie, le 8 mai 1965, Moscou est devenue l'une des douze villes soviétiques à recevoir le titre de ville héroïque.
En 1980, Moscou a accueilli les Jeux olympiques d'été, auxquels les États-Unis et plusieurs autres pays occidentaux ne se sont pas rendus en raison de la guerre de l'Union soviétique en Afghanistan à la fin de 1979. En 1991, Moscou a été le théâtre de la tentative ratée de renversement des membres du gouvernement opposés aux règles de Mikhaïl Gorbatchev. Lorsque l'URSS a pris fin la même année, Moscou a continué à être la capitale de la Russie.
Depuis lors, le début de l'économie de marché à Moscou a fait exploser les magasins, les services, l'architecture et les modes de vie de style occidental. En 1998, elle a accueilli les premiers Jeux mondiaux de la jeunesse.