Il existait une relation durable entre l'Albanie caucasienne et la Rome antique. En 65 av. J.-C., le général romain Pompée, qui venait de soumettre l'Arménie et l'Ibérie et avait conquis la Colchide, entra en Albanie à la tête de son armée. Traversant la province aride de Cambysenē (Kambičan) - récemment prise aux Arméniens par les Albanais - il se dirigea vers la mer Caspienne.
En traversant à gué le fleuve Alazan, il s'est heurté aux forces d'Oroezes, roi d'Albanie, et a fini par les vaincre. Pompée assure le contrôle des Albanais qui atteignent presque la mer Caspienne avant de retourner en Anatolie.
Mais les Albanais, influencés par l'Empire parthe, ne tardent pas à se révolter contre Rome : en 36 avant J.-C., Marc Antoine se voit obligé d'envoyer un de ses lieutenants pour mettre fin à leur rébellion. Zober, alors roi d'Albanie, capitule et l'Albanie devient ainsi - au moins de nom - un "protectorat romain", amorçant une condition de vassalité qui durera près de trois siècles.
Un roi d'Albanie figure dans la liste des dynasties dont les ambassadeurs ont été reçus par Auguste.
En 35 après J.-C., le roi Pharasmanes d'Ibérie et son frère Mithridates, avec le soutien de Rome, affrontent les Parthes en Arménie : les Albanais se révèlent des alliés efficaces, contribuant à la défaite et à l'expulsion temporaire des Parthes.
L'empereur Néron prépara en 67 après J.-C. une expédition militaire dans le Caucase : il voulait vaincre les barbares Alans et conquérir pour Rome toutes les rives nord de la mer Noire, de l'actuelle Géorgie-Azerbaïdjan à ce qui est aujourd'hui la Roumanie-Moldavie, mais sa mort l'en empêcha.
Successivement, Vespasien est déterminé à rétablir et à renforcer la pleine autorité de Rome dans le Caucase jusqu'à la Caspienne.
La présence d'un détachement de la Legio XII Fulminata à quelques kilomètres des rives de cette mer (69 km au sud de Bakou) est attestée par une inscription rédigée entre 83 et 96 après J.-C. sous le règne de Domitien.
En 75 après J.-C., XII Fulminata se trouvait dans le Caucase, où l'empereur Vespasien avait envoyé la légion pour soutenir les royaumes alliés d'Ibérie et d'Albanie.
Une inscription a été trouvée en Azerbaïdjan qui se lit comme suit IMP DOMITIANO CAESARE AVG GERMANICO LVCIVS IVLIVS MAXIMVS LEGIONIS XII FVL, Sous l'imperator Domitien, César, Augustus Germanicus, Lucius Julius Maximus, Legio XII Fulminata.
Certains historiens soutiennent que la colonie actuelle de Ramana près de Bakou a peut-être été fondée par les troupes romaines de Lucius Julius Maximus de la "Legio XII Fulminata" au premier siècle après J.-C. et tire son nom du latin Romana.
Parmi les faits qui renforcent cette hypothèse figurent la carte topographique militaire du Caucase publiée en 1903 par l'administration russe qui épelle le nom de la ville comme "Romana", divers artefacts romains trouvés dans la région d'Absheron et aussi les "anciens habitants" qui désignent la ville comme étant des Roms.
En outre, Ramana est situé dans une zone parfaitement adaptée à un "castrum" romain pour contrôler le port de Bakou tout proche, sur la route maritime commerciale (par la mer Caspienne) entre le Caucase et les plaines d'Asie centrale.
Malgré la croissance de l'influence romaine, l'Albanie n'a jamais cessé de rester en contact commercial et probablement aussi culturel avec la Perse, mais avec Trajan en 114 après J.-C., le contrôle romain sur l'Albanie caucasienne était presque complet, les niveaux sociaux supérieurs étant entièrement romanisés.
Les princes aussi des tribus caucasiennes, les Albanais, les Ibères.... et même ceux des Sarmates transcaucasiens ont été confirmés dans la relation de vassalité (romaine) ou y sont maintenant soumis (par Trajan)
Sous le règne de l'empereur romain Hadrien (117-138), l'Albanie a été envahie par les Alans, un groupe nomade iranien.
Cette invasion a favorisé une alliance entre Rome et les Albanais qui a été renforcée sous Antoninus Pius en 140 après J.-C. Les Sassanides ont occupé la région vers 240 après J.-C., mais après quelques années, l'Empire romain a repris le contrôle de l'Albanie caucasienne.
En 297 après J.-C., le traité de Nisibis stipule le rétablissement du protectorat romain sur l'Ibérie caucasienne et l'Albanie caucasienne. Mais cinquante ans plus tard, Rome a perdu la région qui, depuis lors, est restée partie intégrante de l'empire sassanide pendant plus de deux siècles.
À la fin du VIe siècle, le territoire de l'Albanie est redevenu l'arène de guerres entre la Perse sassanide et l'Empire byzantin/romain d'Orient. Pendant la troisième guerre perso-turque, les Khazars (Gokturks) envahirent l'Albanie, et leur chef Ziebel se déclara Seigneur de l'Albanie en 627 après J.-C. sous le règne d'Héraclius romain, prélevant un impôt sur les marchands et les pêcheurs de la Kura et des Araxes, qui était "en accord avec le cadastre du royaume de Perse". Les rois albanais ont conservé leur domination en rendant hommage aux puissances régionales.
L'Albanie caucasienne a ensuite été conquise par les Arabes en 643 après J.-C., lors de la conquête islamique de la Perse.
