Acte 1
Le premier acte se déroule dans la chambre du Marschallin. Le Marschallin est une dame aristocratique âgée de 32 ans. Elle a un amant, un jeune garçon de 17 ans appelé Octavien. Lorsque l'opéra commence, nous entendons d'abord un prologue orchestral. La musique suggère que le Marschallin et Octavien font l'amour. Puis le rideau s'ouvre et nous voyons les deux ensemble. Ils entendent un bruit et le Marschallin pense que son mari arrive, alors Octavien se cache. Ce n'est pas son mari, mais son cousin, le baron Ochs. Ochs est un homme très grossier et mal élevé. Il entre dans la chambre du Marschallin alors que les serviteurs lui ont demandé d'attendre. Octave parvient à se changer et apparaît habillé comme une servante appelée Mariandel. Ochs pense qu'"elle" est jolie et veut qu'"elle" le rencontre. Puis il dit au Marschallin ce qu'il est venu chercher : il veut qu'un jeune chevalier livre la rose d'argent à sa fiancée Sophie. Il a également besoin d'un notaire pour signer les documents légaux du mariage. Ochs chante le plaisir de faire l'amour. Il aimerait être comme Jupiter qui a su se déguiser de bien des façons.
La levée du matin commence. Cela signifie : la cérémonie du lever du Marschallin. Plusieurs personnes entrent. Parmi elles : un ténor italien qui chante un air, deux Italiens, Valzacchi et Annina, qui répandent toujours des ragots, et un notaire. Lorsque le notaire dit à Ochs qu'il doit verser une dot à sa femme, et non l'inverse, Ochs est très en colère.
Quand le Marschallin est laissé seul, il chante une chanson sur la façon dont il perd son apparence de jeunesse. Octavien revient et la réconforte un peu, mais elle se sent triste quand il lui dit au revoir très poliment et formellement, sans même l'embrasser. Le Marschallin envoie son petit garçon noir lui courir après avec la rose d'argent.
Acte 2
L'histoire se poursuit dans la grande salle de la maison de Herr von Faninal, le père de Sophie qu'Ochs veut épouser. Sophie attend l'arrivée de la rose d'argent (la convention de l'époque dit que son père ne doit pas être là). Octave entre et lui donne la rose. La musique à ce moment est très belle et très célèbre. Les gens dans la salle parlent, puis le baron Ochs entre impoliment. Sophie est choquée par ses mauvaises manières. Ochs fredonne sa valse préférée, puis se rend dans la pièce voisine pour signer un contrat de mariage. Sophie s'enfonce dans les bras d'Octavien. Quand Ochs revient, Octavien lui dit que Sophie ne veut pas de lui, mais Ochs n'écoute pas. Finalement, Ochs prend son épée et commence à combattre Octavien, qui blesse légèrement Ochs. Ochs est furieux, mais se calme un peu après qu'on lui ait donné du vin.
Octavien est tombé amoureux de Sophie, et Sophie de lui. Il veut utiliser Valzacchi et Annina pour l'aider dans son projet. Il écrit un mot à Ochs, qui est censé être de la bonne Mariandel, lui demandant de la rencontrer. Il fait en sorte qu'Annina apporte le mot à Ochs, qui est ravi lorsqu'il le lit. Il chante sa valse préférée.
Acte 3
La scène se passe dans une auberge près de Vienne. Valzacchi et Annina travaillent maintenant pour Octavian et pour Ochs. Ils préfèrent travailler pour Octavian parce qu'il les paie plus cher. Ils prévoient de faire des tours à Ochs.
Ochs rencontre Mariandel (Octave s'est encore déguisé en bonne). Il essaie de la saouler, mais "elle" chante timidement "Nein, nein ! i' trink kein Wein". ("Non, non, je ne bois pas de vin"). Ochs pense que "elle" ressemble à Octavien. Puis d'étranges figures de personnes apparaissent à une fenêtre. Puis Annina entre et dit qu'elle est la femme d'Ochs qu'il a désertée. Puis des enfants entrent et disent qu'Ochs est leur père. Ochs est très gêné lorsque Faninal entre et dit que Mariandel est sa fiancée. Il dit aux gens qu'il n'a jamais vu Faninal auparavant. Puis le Marschallin apparaît et la police aussi. La soirée est un désastre pour Ochs. Le Marschallin dit à la police que ce n'est qu'une blague. Elle renvoie Ochs.
Le Marschallin, Sophie et Octavian chantent un beau trio (utilisant une partie de la musique de la chanson "Nein, nein, i' trink kein Wein"). Octavien est pardonné. Il est laissé seul avec Sophie et ils chantent un duo ensemble, puis partent main dans la main. Elle a laissé un mouchoir sur le sol. Le petit page noir le ramasse et court après eux.