Charles Ryder, qui raconte l'histoire, est étudiant à l'université d'Oxford. Il se lie d'amitié avec Sebastian Flyte, le fils cadet d'une famille aristocratique. Sebastian, qui vient d'une famille très riche, emmène Charles dans la maison familiale, le château de Brideshead. Charles rencontre sa famille, dont la soeur de Sebastian, Julia.
Pendant les vacances, Charles retourne chez lui, où il vit avec son père. Pendant les vacances, Sébastien se blesse légèrement et Charles retourne chez lui. Sébastien et Charles passent le reste de l'été ensemble.
La famille de Sébastien est catholique. Son père, Lord Marchmain, était un anglican, mais il s'est converti au catholicisme romain, la religion de sa femme. La famille parle beaucoup de religion, ce qui surprend Charles, qui a toujours pensé que le christianisme n'était pas un sujet important. Lady Marchmain, la mère de Sébastien, est une catholique très stricte. Elle essaie de contrôler les autres en les faisant se sentir coupables. Sébastien trouve du réconfort dans la consommation d'alcool. Il s'enivre souvent et, en deux ans, il a de moins en moins affaire à la famille Flyte.
Cependant, Charles est destiné à rencontrer à nouveau la famille Flyte, et il tombe amoureux de Julia, qui est alors mariée à un riche Canadien, Rex Mottram.
La propre femme de Charles a été infidèle, il prévoit donc de divorcer pour que Julia et lui puissent se marier. Cependant, Julia décide, pour des raisons religieuses, qu'il ne serait pas juste qu'elle épouse Charles. Alors que Lord Marchmain était mourant, il avait reçu le sacrement de l'extrême-onction. Cet acte avait également influencé Charles, qui était "en quête d'amour à cette époque" lorsqu'il rencontra Sébastien pour la première fois, "cette porte basse dans le mur... qui s'ouvrait sur un jardin clos et enchanté", une métaphore importante du livre.
Charles est devenu architecte. Pendant la Seconde Guerre mondiale, il devient officier de l'armée. Par hasard, il est cantonné à Brideshead. Il lui semble que les constructeurs font un travail utile, même s'il y a parfois des problèmes.
