La ville a été fondée en 1789 par le gouverneur général russe de Novorossiya Knyaz Potemkin. Au départ, il s'agissait d'un chantier naval appelé simplement "Nouveau chantier naval" sur la rivière Ingul. Le 27 août 1789, Knyaz Potemkine a signé un ordre de construction d'un chantier naval, ce qui est considéré comme la date de naissance de la ville. Le chantier naval devait servir à la réparation des navires de la marine russe pendant la guerre russo-turque. Plus tard, Potemkine a ordonné que le chantier naval soit nommé Nikolaev pour commémorer la date de la chute d'Ochakov aux mains des troupes russes sous son commandement, le 6 décembre 1788, près du jour de la Saint Nicolas (Nikolay), le 19 décembre, dans l'église orthodoxe russe.
L'histoire de la ville a toujours été étroitement liée à la construction navale.
Le seul porte-avions de la marine russe actuellement en service, l'amiral Flota Sovetskogo Soyuza Kuznetsov, a été construit à Mykolaiv.