Man'yōgana est le plus ancien système d'écriture sonore connu utilisé pour la langue japonaise. Lorsque les kanji, ou caractères chinois utilisés pour écrire le japonais, sont arrivés au Japon vers le 4e siècle après J.-C. par la péninsule coréenne, ils n'étaient utilisés que pour écrire la langue chinoise. Même si le chinois n'était pas la langue maternelle des Japonais, les écrits chinois classiques étaient néanmoins très étudiés par les Japonais de la classe supérieure. Quelques temps plus tard, bien que l'on ne connaisse pas l'époque exacte, les caractères chinois, qui ont été appelés kanji au Japon, ont été utilisés pour écrire la langue japonaise pour la première fois vers le VIe siècle après J.-C., bien qu'ils aient eu une forte influence chinoise.
Trouver comment écrire le système de caractères chinois pour qu'il s'adapte correctement à la langue japonaise a été une tâche assez difficile, étant donné les grandes différences entre le chinois et le japonais. Par exemple, le chinois a un ordre de mots SVO (sujet-verbe-objet) (c'est-à-dire je mange des sushis), tandis que le japonais a un ordre de mots SOV (c'est-à-dire je mange des sushis). Par ailleurs, alors que les morphèmes chinois, ou la plus petite partie significative d'un mot, sont généralement monosyllabiques ou n'ont qu'une seule syllabe, les mots japonais sont souvent polysyllabiques ou ont deux ou plusieurs syllabes. Citons par exemple 山, 魚, 中, 国, 人, 多, 速 et 見. En chinois mandarin, le dialecte chinois le plus parlé au monde, ces morphèmes sont prononcés dans cet ordre : shān, yú, zhōng, guó, rén, duō, sù et kàn, qui ne sont tous que d'une seule syllabe. Dans la prononciation japonaise native, cependant, ces morphèmes se prononcent yama, sakana, naka, kuni, hito, oo, haya et mi(ru). Ce qui rend tout cela plus compliqué, c'est que les trois derniers kanji ne sont presque jamais écrits seuls en japonais, voire pas du tout, puisqu'ils sont généralement utilisés dans les adjectifs, les verbes et les adverbes.
L'écriture des caractères par eux-mêmes est souvent acceptable en chinois, car le chinois est une langue analytique, ou une langue dont la grammaire est structurée par l'ordre des mots, mais le japonais est très flexionnel, c'est-à-dire que la grammaire est structurée par les terminaisons des mots. C'est pourquoi les verbes, adjectifs et adverbes ont presque toujours au moins deux morphèmes, le premier étant le morphème dérivé, ou la partie du mot avec la racine, et le second et les autres qui le suivent sont appelés morphèmes flexionnels, ou parties du mot ajoutées pour montrer la grammaire d'un mot. Par exemple, un mot qui utilise le caractère 見 est 見る mi(ru), où le premier morphème, le kanji étant 見 et sa prononciation étant mi, a la racine signifiant "voir", la deuxième syllabe ru montre que le mot est un verbe, ce qui en fait le mot "voir". L'adjectif 多い oo(i) est composé du morphème 多 oo, qui signifie "beaucoup", et du morphème い i, qui montre que le mot est un adjectif. Les derniers exemples sont les deux mots 速い haya(i) et 速く haya(ku). Alors que le premier morphème des deux mots est constitué des deux syllabes 速 haya, signifiant "rapide", le い i in 速い transforme le mot en adjectif tandis que le く ku dans 速く hayaku transforme le mot en adverbe, le mot devient donc "rapidement".
En raison des nombreuses différences qui existent entre le chinois et le japonais, le système de caractères chinois a dû être modifié pour s'adapter au japonais parlé, si l'on voulait qu'il soit compris par les locuteurs natifs du japonais. La première solution proposée par les Japonais a été d'utiliser les caractères chinois pour leur prononciation et non pour le sens du mot. Ces caractères ont été appelés man'yōgana, du nom du Man'yōshu, un recueil de poèmes japonais qui a été écrit en japonais à l'aide du man'yōgana. Alors que les caractères chinois utilisés pour leur signification sont connus sous le nom de kanji, les caractères chinois utilisés uniquement pour la prononciation sont connus sous le nom de man'yōgana. Le man'yōgana était composé d'environ 970 caractères chinois qui pouvaient être utilisés pour représenter approximativement les quelque 90 morae différents utilisés dans la langue japonaise.
Par exemple, alors que le caractère 山 signifie "montagne" en japonais, le caractère lui-même n'était généralement utilisé que pour les mots empruntés au chinois, ou les mots empruntés à la langue chinoise, comme 富士山 Fuji-san, signifiant "Mt. Fuji"，火山kazan, signifiant "volcan"，and 山村 sanson, signifiant "village de montagne". Les mots empruntés à la langue chinoise utiliseraient on'yomi (en japonais, le on'yomi pour やま est san, zan, sen ou zen), ou des prononciations empruntées au chinois, au lieu de kun'yomi, ou des prononciations japonaises natives. Au début de l'écriture japonaise, les mots japonais indigènes étaient en grande partie écrits en utilisant man'yōgana au lieu de kanji. Par exemple, alors que le kanji pour "montagne" est 山, et le kun'yomi pour le mot yama, le mot japonais natif serait écrit comme 耶麻, 八馬, 矢間, 也麻, etc. pour le distinguer d'un mot emprunté au chinois, ou kango.
Alors qu'une phrase japonaise moderne pourrait être écrite ainsi : 私はすしを食べます Watashi-wa sushi-o tabemasu (qui signifie : je mange du sushi), la même phrase écrite entièrement en man'yōgana pourrait être écrite comme 和多氏巴寿司鳥他邊麻須, ce qui lui donnerait un aspect plus chinois. Ou, si quelqu'un voulait garder tous les kanji identiques mais remplacer tous les kana modernes, la phrase ressemblerait à ceci : 私巴寿司鳥食邊麻須.
Bien que man'yōgana ait donné aux Japonais un moyen de représenter le japonais parlé sur papier, les phrases écrites dans man'yōgana étaient assez difficiles à lire. Comme les caractères chinois étaient utilisés à la fois pour représenter le sens des mots et la prononciation, une grande confusion pouvait survenir lorsqu'un locuteur natif japonais lisait quelque chose écrit à la fois en kanji et en man'yōgana. Les exemples ci-dessus dans man'yōgana seraient difficiles à lire, même pour un locuteur natif japonais, surtout pour un Japonais moderne. De plus, il était presque impossible de tout écrire rapidement, car il fallait un caractère chinois entier pour écrire une simple syllabe japonaise, dont certaines auraient pu être écrites en 30 coups de stylo.
Afin d'écrire plus rapidement, d'utiliser moins de caractères écrits et de lire plus facilement, les écrivains japonais ont créé des kana plus simples, ou des caractères écrits pour représenter les syllabes japonaises. Les moines bouddhistes ont créé des katakana en utilisant uniquement des morceaux de kanji afin de pouvoir écrire plus rapidement les enseignements parlés. Les femmes de la classe supérieure utilisaient les kanjis qu'elles connaissaient et écrivaient des formes cursives de ces kanjis. Celles-ci furent connues sous le nom de hiragana. Bien qu'ils aient été créés séparément, ils ont plus tard remplacé les man'yōgana comme principaux systèmes d'écriture basés sur le son. Alors que la plupart des écritures basées sur le son utilisent aujourd'hui les hiragana et les katakana, man'yōgana est toujours utilisé pour écrire certains mots japonais modernes.
Ces exemples sont appelés ateji. Voici quelques exemples : 寿司 sushi, 亜細亜 Ajia (Asie)、亜米利加 Amerika (Amérique)、仏蘭西 Furansu (France)、阿弗利加 Afurika (Afrique)、沢山 takusan et 珈琲 kōhī (café)。
Parfois, comme dans le cas de 仏蘭西, ce sont les anciennes orthographes des noms de lieux avant que les Japonais ne décident de représenter tous les mots de prêt non chinois par un katanana. D'autres fois, le ateji est utilisé car les caractères chinois sont plus connus dans différents pays que le hiragana et le katana, un exemple étant que les Chinois peuvent reconnaître 寿司, puisque les deux caractères existent également en chinois, plutôt que すし, puisqu'aucun des deux caractères n'existe en chinois. Alors que le caractère chinois pour "café" est 咖啡, le 珈琲 japonais est suffisamment proche pour que les Chinois puissent le deviner avec un peu de conjecture.