"Yellow" a été écrit dans un studio de Rockfield au Pays de Galles. Ce studio s'appelle le Quadrangle. C'est là que Coldplay a commencé à travailler sur son premier album, "Parachutes". Un soir, après avoir terminé l'enregistrement de "Shiver", le single principal de l'album, le groupe a fait une pause et est sorti du studio. À l'extérieur, il y avait peu de lumières allumées et les étoiles dans le ciel étaient visibles et "tout simplement incroyables", selon le coproducteur de la chanson, Ken Nelson. Il a dit au groupe de regarder les étoiles. Le groupe a regardé les étoiles et s'est senti généralement inspiré. La mélodie principale de la chanson est venue à l'esprit de Chris Martin, le chanteur du groupe. La mélodie était un motif d'accords. Au début, Martin ne l'a pas prise au sérieux "car il a relayé la mélodie au reste du groupe avec sa pire voix d'imitation de Neil Young". Martin a déclaré : "La chanson contenait le mot "stars" et cela semblait être un mot que vous deviez chanter avec une voix de Neil Young. La mélodie "a commencé beaucoup plus lentement" selon Will Champion, le batteur du groupe, et ressemblait à une chanson de Neil Young. Peu de temps après, bien qu'il n'ait pas pris la chanson au sérieux, l'idée de Martin s'est concrétisée lorsqu'il a développé le tempo du couplet. Lorsque Jonny Buckland, le guitariste du groupe, a commencé à la jouer et à y ajouter ses propres idées, ils avaient créé le riff, "et il est devenu un peu plus lourd".
En composant les paroles de la chanson, Martin n'a cependant pas pu trouver les bons mots. Il pensait à un mot spécifique qui correspondrait à l'idée principale et au thème de la chanson. Il a pensé que ce mot manquant était un mot clé dans les paroles. Il a regardé dans le studio et a trouvé les Pages jaunes de l'annuaire téléphonique. Plus tard, Martin a intitulé la chanson "Yellow" en référence à l'annuaire. Mais selon lui, "Dans un univers alternatif, cette chanson pourrait s'appeler "Playboy". Les paroles ont ensuite progressé grâce à la collaboration du groupe. Le bassiste du groupe, Guy Berryman, a écrit la première ligne, "Look at the stars". Ce soir-là, après avoir rapidement composé la chanson, le groupe l'a enregistrée.