Les parties les plus anciennes du bâtiment datent de 1094. Vers 1270, une synagogue plus grande, qui comprenait des parties du bâtiment plus ancien, a été construite. Le mur ouest du bâtiment date de cette époque. Il possède ses six fenêtres d'origine. Un autre étage a été ajouté au début des années 1300.
En 1349, de nombreuses personnes sont mortes de la maladie de la peste noire. Les gens disaient que c'était la faute des Juifs. Les Juifs ont été assassinés et obligés de quitter la ville. Ce pogrom est connu sous le nom de "Massacre d'Erfurt". La synagogue a été endommagée et le conseil municipal d'Erfurt a pris le contrôle du bâtiment. Ils l'ont ensuite vendu à un homme d'affaires local. Celui-ci l'a utilisé comme entrepôt et a apporté des modifications à l'intérieur, notamment en construisant une cave. Pendant les 500 années qui ont suivi, il a servi à stocker des marchandises.
À partir du XIXe siècle, le bâtiment a servi de salle de bal, de restaurant et même de piste de bowling. Ces changements ont fait que l'ancienne synagogue a été en grande partie oubliée. Son histoire n'a pas été reconnue, ce qui a contribué à la protéger pendant la période nazie.
À la fin des années 1980, l'ancien bâtiment a suscité un regain d'intérêt. L'historien de l'architecture Elmar Altwasser a commencé à faire des recherches sur ce bâtiment en 1992. Le conseil municipal d'Erfurt a acheté la propriété en 1998 et l'a recherchée et conservée. Toutes les étapes de l'histoire du bâtiment ont été conservées, et pas seulement son utilisation comme synagogue.
En 2007, un bain rituel juif rare et bien préservé, un Mikveh, a été découvert non loin de la vieille synagogue par des archéologues. Il a été construit vers 1250.
En 2015, l'ancienne synagogue et le Mikveh, ainsi qu'une maison en pierre du centre médiéval d'Erfurt, également construite vers 1250 et ayant appartenu à des Juifs, ont été proposés comme site du patrimoine mondial. Ce site a été inscrit provisoirement sur la liste, mais aucune décision définitive n'a été prise.
