On parle de ce qu'on appelle les naines brunes dans les années 1960. D'autres noms ont été proposés pour les naines brunes, notamment "planétaire" et "substar". Ils sont restés hypothétiques pendant des décennies.
Les premières théories suggéraient qu'un objet de moins de 0,09 masse solaire ne passerait jamais par l'évolution stellaire normale. La découverte de la combustion du deutérium à 0,012 masse solaire et l'impact de la formation de poussière dans les atmosphères extérieures froides des naines brunes à la fin des années 1980 ont remis ces théories en question. Cependant, de tels objets étaient difficiles à trouver car ils n'émettent presque pas de lumière visible. Leurs émissions les plus fortes se situent dans le spectre infrarouge (IR), et les détecteurs IR au sol étaient trop imprécis à l'époque pour identifier facilement les naines brunes.
Pendant de nombreuses années, les efforts pour découvrir les naines brunes ont été vains. En 1988, cependant, le GD 165B a été découvert, ne présentant aucune des caractéristiques attendues d'une étoile naine rouge de faible masse. Aujourd'hui, GD 165B est reconnu comme le prototype d'une classe d'objets appelés aujourd'hui "naines L". Bien que la découverte de la naine la plus froide ait été très importante à l'époque, on s'est demandé si GD 165B serait classée comme une naine brune ou simplement comme une étoile de très faible masse, car il est très difficile de faire la distinction entre les deux du point de vue de l'observation.
Peu après la découverte du GD 165B, d'autres candidats nains bruns ont été signalés. La plupart n'ont cependant pas été à la hauteur de leur candidature, car l'absence de lithium a montré qu'il s'agissait d'objets stellaires. Les vraies étoiles brûleront leur lithium dans un peu plus de 100 millions d'années (my), alors que les naines brunes ne le feront pas. Il est déroutant de constater que les naines brunes ont des températures et des luminosités similaires à celles de certaines vraies étoiles. En d'autres termes, la détection de lithium dans l'atmosphère d'un objet signifie que, s'il a plus de 100 my, il s'agit d'une naine brune.
En 1994/5, l'étude des naines brunes a changé avec la découverte de deux objets substellaires définis (Teide 1 et Gliese 229B).
La première naine brune confirmée a été découverte en 1994. Ils ont appelé cet objet Teide 1 et il a été trouvé dans l'amas ouvert des Pléiades. La nature a mis en évidence "Naines brunes découvertes, officielles" en première page de ce numéro. La distance, la composition chimique et l'âge de Teide 1 ont été établis car il se trouve dans le jeune amas d'étoiles des Pléiades. La masse de Teide 1 est 55 fois supérieure à celle de Jupiter, et nettement inférieure à la limite de masse stellaire.
Le Gliese 229B, dont la température et la luminosité étaient bien inférieures à la gamme stellaire, était plus remarquable. Fait remarquable, son spectre proche infrarouge présentait clairement une bande d'absorption du méthane à 2 micromètres, une caractéristique qui n'avait été observée auparavant que dans l'atmosphère des planètes géantes et celle de la lune de Saturne Titan. Cette découverte a permis d'établir une autre classe spectrale encore plus froide que les naines L, connues sous le nom de "naines T", dont Gliese 229B est le prototype.
Une naine brune de moins de 65 masses de Jupiter est incapable de brûler du lithium par fusion thermonucléaire à tout moment de son évolution. Des données spectrales de haute qualité ont montré que Teide 1 avait conservé la quantité initiale de lithium du nuage moléculaire d'origine à partir duquel les étoiles de la Pléiade se sont formées. Cela a prouvé l'absence de fusion thermonucléaire dans son noyau.
Le Teide 1 a été considéré pendant un certain temps comme le plus petit objet du système solaire qui avait été identifié par observation directe. Depuis lors, plus de 1800 naines brunes ont été identifiées. Certaines sont très proches de la Terre, comme Epsilon Indi Ba et Bb, une paire de naines brunes liées par gravitation à une étoile semblable au Soleil à environ 12 années-lumière du Soleil, et WISE 1049-5319, un système binaire de naines brunes à environ 6,5 années-lumière.
