Scott est né à Londres, enfant unique de l'explorateur Robert Falcon Scott (Scott of the Antarctic) et de la sculptrice Kathleen Bruce. Il avait deux ans lorsque son père est mort. Robert Scott, dans une dernière lettre à sa femme, lui a conseillé de "faire en sorte que le garçon s'intéresse à l'histoire naturelle si possible ; c'est mieux que les jeux".
Il a fait ses études à la Oundle School et au Trinity College, à Cambridge. Il a d'abord suivi des cours de sciences naturelles, mais a obtenu un diplôme d'histoire de l'art en 1931. Après avoir obtenu son diplôme, il a étudié l'art en Allemagne et à Londres.
Il a eu sa première exposition à Londres en 1933, et a vendu ses premières peintures. En 1935, il publie Morning Flight, illustré par lui-même. Jeune homme, Scott n'était pas riche, et les revenus de ses peintures étaient la base de sa vie. Les peintures elles-mêmes se vendaient bien, mais la plupart des revenus provenaient de livres et de reproductions. Les reproductions, qui ont été imprimées par Ankermann de Bond Street, se vendent toujours bien. Grâce à cette "source de revenus", Scott a pu garder une famille et acheter une partie des terres qu'il souhaitait pour ses refuges d'oiseaux sauvages.
Aux Jeux olympiques de Berlin de 1936, il a représenté la Grande-Bretagne en voile, remportant une médaille de bronze dans la plus petite classe de bateaux, les O-Jolle ou dériveurs.
La Seconde Guerre mondiale
A l'approche de la guerre, en 1939, il rejoint la Royal Naval Volunteer Reserve. En 1940, il est lieutenant dans un destroyer. Après avoir rejoint les forces côtières, il est devenu lieutenant-commandant et a commandé une flottille de canonniers à moteur dans la Manche. Il a reçu la Croix du service distingué avec barrette et un MBE (division militaire). En 1944, il est officier d'état-major et en mars 1945, il est nommé capitaine de la toute nouvelle frégate HMS "Cardigan Bay".
