L'histoire se déroule à un moment où l'Espagne arrive à la fin d'une guerre avec la France. Il a été convenu entre les deux pays que Don Carlos, héritier du trône d'Espagne, épousera Elisabeth, la fille du roi de France.
Acte I
Don Carlos veut voir la fille qu'il va épouser. Il se rend en France et, en secret, se joint à une chasse royale à laquelle Elisabeth participe. Elisabeth et son page sont séparés des autres. Carlos lui parle et lui propose de la ramener chez elle. La princesse l'interroge sur le prince qu'elle va épouser. Carlos lui dit qu'elle ne doit pas s'inquiéter car le prince est gentil et amoureux d'elle. Il montre ensuite à Élisabeth une photo du prince, puis Élisabeth réalise bien sûr que c'est le prince avec lequel elle parle. Ils chantent un duo d'amour.
Certains fonctionnaires espagnols viennent alors dire à Élisabeth qu'il a été décidé qu'elle n'épouserait pas le prince : elle doit épouser son père, le roi d'Espagne. Les deux amants sont consternés par cette nouvelle. La foule supplie Élisabeth d'accepter d'épouser le roi d'Espagne, afin que la guerre cesse. Finalement, elle accepte.
Acte II
Don Carlos s'est rendu dans un monastère pour pouvoir être tranquille dans sa misère. Son grand-père, Charles Quint, avait passé ses derniers jours dans ce monastère. Un moine lui parle. Carlos pense que le moine ressemble à son grand-père.
Carlos est rempli de joie lorsque son ami Rodrigue arrive. Il vient de rentrer de Flandre, où il y a encore beaucoup de combats. Carlos lui dit un secret : il est amoureux d'Elisabeth qui a maintenant épousé son père et est donc la reine d'Espagne. Rodrigue lui dit qu'il devrait passer son temps à aider les pauvres gens des Flandres. Le roi et la reine passent devant le tombeau.
Lorsque la reine quitte l'église, elle se rend dans le jardin où ses dames l'attendent. Un messager lui remet une lettre de sa mère à Paris, mais en même temps, il lui remet secrètement une lettre de Carlos. Rodrigue parle tranquillement à Eboli, la dame de compagnie de la reine, pendant que celle-ci lit les lettres. Rodrigue demande à la reine d'essayer de persuader le roi de laisser Carlos lui parler. Eboli est amoureuse de Carlos. Elle a remarqué que Carlos est agité lorsqu'il est en présence de la reine, et pense que c'est parce que Carlos l'aime (Eboli).
Carlos a la possibilité de rencontrer Elisabeth en privé. Il lui demande calmement si elle pourrait persuader le roi de l'envoyer en Flandre. Cependant, il n'est pas vraiment calme, et bientôt il commence à être en colère contre elle parce qu'elle n'a pas montré de sentiments d'amour envers lui. Elle lui dit que c'est son devoir maintenant qu'elle est Reine. Carlos comprend, mais il est toujours amoureux d'elle. Il tombe à ses pieds. Il la saisit et lui déclare son amour, mais la reine s'arrache à lui et il s'enfuit en désespoir de cause.
Le Rois sort de l'église. Il est très en colère que sa femme ait été laissée à elle-même. Il dit à la dame d'honneur de s'en aller. La reine la réconforte. Puis elle s'en va avec ses dames.
Rodrigue demande au roi de cesser de lutter contre le peuple de Flandre qui meurt et meurt de faim. Le Roi dit qu'ils n'ont pas été fidèles et qu'ils méritent d'être punis. Il dit à Rodrigue qu'il a peur de ce qui se passe entre Elisabeth et Carlos. Il lui dit d'être conscient de l'Inquisition.
Acte III
Un bal masqué a lieu au palais de Madrid. Carlos attend dans le jardin de la Reine. Une dame vient au jardin, portant un masque, comme tout le monde. Il pense que c'est la reine et lui dit combien il l'aime. Quand la dame enlève son masque, il se rend compte que c'est Eboni. Elle l'accuse d'aimer la reine. A ce moment, Rodrigue arrive. Il dit à Eboni que Carlos n'est pas bien et ne comprend pas de quoi il parle. Mais Eboni ne se laisse pas tromper et projette de ruiner leur histoire d'amour.
La deuxième scène de l'acte se déroule sur une place de Madrid. Un auto-da-fé est en préparation. À l'époque de l'Inquisition espagnole, il s'agissait d'une cérémonie au cours de laquelle toute personne qui n'était pas d'accord avec l'Église catholique romaine était brûlée à mort. Les moines entrent, suivis par les malheureux qui vont être brûlés. Les gens chantent les gloires de l'Espagne. Le roi Philippe apparaît et répète comment il va lutter contre quiconque est ennemi de l'Église catholique romaine. Six personnes, dont Carlos, apparaissent et se jettent à ses pieds, le suppliant d'empêcher ses troupes de tuer le peuple flamand. Le roi n'en entendra pas parler. Une partie de la foule soutient le roi, mais d'autres le supplient d'avoir pitié. Carlos demande alors à son père de lui permettre de diriger la Flandre à sa place. Le roi ne le permet pas, car il se rend compte que cela pourrait être l'occasion pour Carlos et le peuple flamand de se soulever contre lui. Carlos est désespéré. Il tire son épée et dit qu'il va sauver la Flandre. La foule est terrifiée de le voir se comporter ainsi devant le roi. Le roi ordonne à ses soldats de retirer l'épée à Carlos, mais personne ne lui obéit. Finalement, Rodrigue (qui se rend compte que cela va être mauvais pour lui) sauve la situation en demandant calmement l'épée à Carlos. Il la lui remet et Rodrigue la donne au roi. Les moines vont plus loin et une voix venue du ciel promet la paix dans le monde à venir.
ActIV
Le roi est seul à l'église. Dans un merveilleux aria, il chante sa tristesse de voir que sa femme ne semble pas l'aimer. Le Grand Inquisiteur entre. Il est très vieux et aveugle. Le roi lui parle de son fils et demande à l'inquisiteur si Carlos doit être pardonné ou condamné à mort. L'inquisiteur répond que c'est Rodrigue qui doit être tué. Le roi ose ne pas être d'accord. L'inquisiteur dit au roi qu'il ne donne pas son cœur à Dieu. L'inquisiteur s'en va.
La reine se précipite et demande au roi de l'aider à chercher un coffret de bijoux qui a disparu de sa chambre. Le roi lui montre qu'il est sur la table. Il lui dit qu'elle doit l'ouvrir. Elle le fait. En haut, il y a un portrait de Carlos. Le roi est très en colère et l'accuse d'adultère. Elle s'évanouit. Le roi appelle Eboli et Rodrigue à l'aide. Le roi est désolé de ses soupçons, mais Eboli l'est encore plus parce que c'est elle qui avait pris le cercueil par jalousie de Carlos et Elisabeth. C'est elle qui avait suggéré au Roi de regarder dans l'écrin. Rodrigue estime qu'il ne peut sauver son ami qu'en s'offrant à la mort à la place de Carlos. Le roi et Rodrigue s'en vont. Eboni se jette aux pieds de la reine, qui est maintenant ressuscitée, et avoue qu'elle est elle-même coupable d'adultère parce qu'elle avait couché avec le roi. Elisabeth reste calme, mais dit à Eboni de s'éloigner d'elle pour toujours et de vivre dans un couvent. Quand Eboni est laissée seule, elle exprime ses sentiments de terrible misère. Avant de se rendre au couvent, elle a encore une chose à faire : essayer de sauver Carlos de la mort.
La deuxième scène de l'acte montre Carlos en prison. Rodrigue vient le voir. Il sait que des lettres flamandes adressées à Carlos ont été trouvées en sa possession. Quelqu'un vient et tue Rodrigue. À sa mort, il dit à Carlos que la reine l'attendra le lendemain à l'extérieur du couvent et le verra pour la dernière fois. Il meurt.
Parfois, l'acte IV se termine ici, mais certaines représentations continuent de montrer une scène où le roi tente de rendre l'épée à son fils, mais où Carlos l'accuse d'avoir assassiné son ami. Un groupe de personnes, dont Eboli, entrent dans la prison et crient au roi de libérer Carlos. L'inquisiteur apparaît. Il dit à la foule en colère qu'ils sont méchants d'aller contre la volonté de Dieu. Il leur dit à tous de se mettre à genoux et de se repentir.
Acte V
Elisabeth s'agenouille devant le tombeau de Charles Quint. Elle chante sa jeunesse perdue en France (une partie de la musique de l'acte I revient ici). Elle prie pour la paix. Elisabeth et Carlos se rencontrent alors pour la dernière fois (leur troisième duo dans l'opéra) et souhaitent des temps plus heureux. Le roi et l'inquisiteur se cachent. Ils apparaissent maintenant et s'emparent de Carlos. On dit aux gardes de l'attraper, mais Carlos se défend. Soudain, la voix de Charles Quint (ou d'un moine déguisé) se fait entendre. Il emmène son petit-fils en sécurité dans le cloître.
