Le château de Carisbrooke est le seul château médiéval de l'île de Wight qui subsiste. Il a été construit sur un site romain. Les travaux de terrassement du château ont commencé en 1070. Le donjon de coquillage a été construit sur le site environ 70 ans plus tard. Il ne reste plus aucun des bâtiments domestiques normands. La maison de garde avec ses tours à tambour date des 14e et 15e siècles.
En 1377, les Français débarquent sur l'île mais le château n'est pas attaqué.
Pendant l'époque élisabéthaine, la menace d'une invasion espagnole a été évitée lorsque l'Armada espagnole a été repoussée lors d'une bataille à proximité. Cependant, le château a été considérablement modifié pour résister à la nouvelle artillerie. Des lignes de défense extérieures ont été construites autour du vieux château. Les courtines, les bastions et les remparts sont encore en bon état à ce jour.
Charles Ier fut retenu prisonnier au château en 1647. Une tentative d'évasion échoue lorsqu'il se retrouve coincé dans les barreaux.
Plus tard, le château a été la résidence occasionnelle du gouverneur de l'île de Wight et il est devenu la résidence de la princesse Béatrice, la plus jeune fille de la reine Victoria, lorsqu'elle était gouverneur.
