Le nom de la rivière vient d'un mot algonquin, lappihanne (également enregistré sous le nom de toppehannock), qui signifie "rivière d'eau rapide et montante" ou "où la marée monte et descend", nom utilisé par la population indigène locale, la tribu des Rappahannock.
Bien qu'il y ait eu quelques petits hameaux le long du cours inférieur de la rivière Rappahannock au début de l'époque coloniale, la colonisation de la vallée de la rivière Rappahannock a commencé sérieusement pendant les premières années du 18e siècle, à l'instigation du gouverneur Alexander Spotswood. La rivière James avait été arpentée jusqu'à sa ligne de chute, le point où, géologiquement, le socle continental du Piémont rencontre les roches sédimentaires et les sols alluviaux de la plaine côtière. Spotswood a encouragé la colonisation d'une vallée fluviale autre que celle de la James. En 1714, il a commencé à chercher des immigrants de Rhénanie-Palatinat et de Suisse pour s'installer sur des terres qu'il contrôlait près de l'endroit où se réunissaient les Rappahannock et les Rapidan. Connus sous le nom de Germanna, ces villages ont été fondés afin d'exploiter les gisements de minerai de fer de la région.
La bataille de la rivière Rappahannock a été menée sur la rivière pendant la guerre de 1812. Dix-sept bateaux britanniques remplis de centaines de marines et de marins ont capturé quatre corsaires américains.
Pendant la guerre civile américaine, le fleuve, avec peu de gués commodes et moins de ponts, constituait une barrière et une ligne de défense. Derrière cette ligne, les troupes n'avaient guère peur d'être attaquées par le bord du fleuve. C'était une barrière particulièrement difficile à franchir pour les troupes de l'Union dans leurs tentatives de pénétration dans le sud de la Virginie. Le contrôle du fleuve a changé de mains à de nombreuses reprises au cours de la guerre. Parmi les batailles importantes qui se sont déroulées le long du fleuve, citons la bataille de Fredericksburg et la bataille de la station de Rappahannock. La ligne défensive du fleuve a finalement été contournée par Ulysses S. Grant lors de la campagne de 1864 dans les régions sauvages (ou Overland), qui s'est terminée par la victoire finale de l'Union.
Dans certains documents des XVIIIe et XIXe siècles, y compris certains documents de la guerre civile, la rivière Rappahannock était appelée "Hedgeman's River". Un relevé effectué en 1736-1737 indiquait que le Rappahannock au-dessus de l'embouchure du Rapidan était appelé "Cannon", et plus en amont, il était identifié comme "Hedgeman's River", du nom de Nathaniel Hedgeman, un des premiers colons de la région.