Το πρωτότυπο Εβραϊκό Μουσείο της Βιέννης ιδρύθηκε το 1896 και ήταν το πρώτο μουσείο του είδους του στον κόσμο. Το μουσείο έχει υπάρξει με την υποστήριξη της «Κοινωνίας για τη συλλογή και τη διατήρηση της τέχνης και τα ιστορικά μνημεία του Εβραϊσμού." Ασχολήθηκε με την ιστορία και τον πολιτισμό των Εβραίων της Αυστρο-Ουγγρικής Αυτοκρατορίας. Η συλλογή του από αντικείμενα και προϊόντα από την Παλαιστίνη αντανακλούσε επίσης την πολιτική συζήτηση για τον Σιωνισμό. Το μουσείο έκλεισε αμέσως μετά την κατάληψη της Αυστρίας από τους Ναζί. Κατά το τελευταίο έτος της ύπαρξής του, είχε 6474 διαφορετικά στοιχεία. Το 1939 μεταφέρθηκαν στο Μουσείο Εθνολογίας, και άλλα θεσμικά όργανα.

Τα περισσότερα από τα αντικείμενα επιστράφηκαν στην Εβραϊκή κοινότητα στις αρχές της δεκαετίας του 1950, αλλά κάποιοι κατάφεραν να επιστρέψουν μόλις το 1990 έτος. Πολλά από τα εκθέματα χάθηκαν. Όταν το Νέο Μουσείο της εβραϊκής έχει μια απογραφή, διαπιστώθηκε ότι τα μισά από τα αρχικά στοιχεία είχαν εξαφανιστεί. Αλλά το υπόλοιπο από τα πράγματα που είναι πολύ σπάνια εκθέματα που αναπαριστούν ως αντικείμενα της καθημερινής ζωής, και μοναδικά υλικά.

31η Δεκεμβρίου του 1964 ένα μικρό εβραϊκό μουσείο εγκαινιάστηκε το νεόδμητο κτίριο Tempelgasse, αλλά δεν έλαβε σχεδόν καθόλου την προσοχή του κοινού. Μετά από 3 χρόνια το μουσείο έχει κλείσει.

Η πρώτη έκθεση της νέας Εβραϊκό Μουσείο της Βιέννης άνοιξε 7, Μαρτίου 1990 στις προσωρινές εγκαταστάσεις στα γραφεία της εβραϊκής κοινότητας. Ένα σημαντικό μέρος της έκθεσης έγινε από μια συλλογή του Max Berger. Το 1992 το μουσείο μεταφέρθηκε στη σημερινή σπίτι του στο παλάτι Eskeles Doroteegasse. Το μουσείο εγκαινιάστηκε ένα χρόνο αργότερα, το 1993. Η βιβλιοθήκη άνοιξε για το κοινό από το 1994.

Από το φθινόπωρο του 2011, το μουσείο άνοιξε τις πόρτες του μετά από μια πλήρη ανακαίνιση, όπως και το ίδιο το κτίριο, και να ενημερώνει τη μόνιμη έκθεση. Ανακαινισμένο Εβραϊκό Μουσείο καλωσορίζει τους επισκέπτες στο νέο σύστημα φωτισμού, η οποία έγινε σύμφωνα με το αρχικό. Η μόνιμη έκθεση του μουσείου βρίσκονται σε τρεις ζώνες.