La conception du jeu, basée sur le jeu Atari 400, a été conçue pour un design qu'Atari Inc. pourrait rapidement construire et vendre.
Lors de sa conception, l'Atari 5200 a été baptisé "Atari Video System X - Advanced Video Computer System". Atari a protégé la conception avec un nom de code, "Pam", d'après une employée d'Atari. Une rumeur disait que "Pam" ou "PAM" signifiait en fait "Personal Arcade Machine". En effet, la plupart des jeux du système étaient basés sur des jeux d'arcade existants. Il existe des machines Atari Video System X en état de marche, dont le matériel est identique à 100% à celui de l'Atari 5200, mais elles sont extrêmement rares.
La première version de 1982 comportait quatre ports de contrôle, alors que presque tous les autres systèmes de l'époque n'en avaient que deux. Le 5200 présentait également une nouvelle manette très spéciale avec un joystick analogique, un clavier numérique, deux boutons de tir de chaque côté de la manette et des touches de fonction de jeu pour le démarrage, la pause et la réinitialisation. Une autre particularité était la première boîte de commutation automatique pour la télévision. Les anciens systèmes de jeu qui se fixaient aux fils d'antenne d'un téléviseur exigeaient que l'utilisateur fasse glisser un interrupteur sur l'adaptateur à la main. Cette boîte RF permettait également de brancher l'alimentation du jeu dans une configuration unique à double alimentation/signal de télévision, similaire à celle du Studio II de la RCA. Un seul câble sortant du 5200 se branchait sur la boîte de commutation et était utilisé à la fois pour l'électricité et le signal de télévision.
La version de 1983 de l'Atari 5200 a deux ports de contrôle au lieu de quatre. L'Atari est revenu à une alimentation séparée plus simple et à un commutateur RF manuel. Le port de la cartouche a également été modifié pour permettre l'utilisation de l'adaptateur Atari 2600 commercialisé cette année-là. Bien que l'adaptateur n'ait été conçu que pour fonctionner sur la version à deux ports, des modifications peuvent être apportées au quatre ports pour le rendre compatible. En fait, vers la fin de la production du modèle à quatre ports, un nombre limité de consoles ont été produites avec ces modifications. Ces consoles peuvent être identifiées par un astérisque dans leur numéro de série.