Κατά το Μεσαίωνα ήταν η πρωτεύουσα του Annecy, Γενεύη County, και βρίσκεται στο κέντρο του Annecy, το κάστρο ήταν η έδρα των Counts της Γενεύης. Το κάστρο χτίστηκε το ΧΙΙ αιώνα στο χώρο του φρουρίου, που χτίστηκε τέσσερις αιώνες νωρίτερα. Στην XIII αιώνα έγινε η κατοικία των μελών της οικογένειας του Κόμη, αργότερα μετακόμισε στο Δούκα της Σαβοΐας.

Κατά το Μεσαίωνα οι κάστρο πολλές φορές καταστράφηκε από τις πυρκαγιές, αλλά κάθε φορά μειώθηκε, όλο και περισσότερο την ενίσχυση της άμυνας του. Ωστόσο, παρά το πάχος των τοίχων, απειλητικό βλέμμα και μια προνομιακή τοποθεσία στην κορυφή ενός λόφου, στο πρώτο μισό του XVII αιώνα, το κάστρο έγινε από το γαλλικό στρατό. Στο XVII αιώνα, το κάστρο στεγάζει οι στρατώνες και αποθήκες, μία φορά ακόμη και ο ίδιος υπηρέτησε ως καταφύγιο για τους άστεγους. Μόνο στη μέση του ΧΧ αιώνα, το κτίριο κηρύχθηκε ως ιστορικό διατηρητέο ​​μνημείο, και τώρα στεγάζεται σε ένα μουσείο όπου μπορείτε να δείτε τα έργα της τέχνης και αντικείμενα από διαφορετικές εποχές.

Ένα από τα πιο διάσημα κατοίκους του κάστρου ήταν ο Robert της Γενεύης - begetteth εδώ το 1342, ο γιος του Κόμη Amadeus ΙΙΙ. Ο Robert της Γενεύης είναι επίσης γνωστό με το όνομα του αντι-Πάπας Κλήμης Ζ - αρκετά μαχητική και σκληρή, με το παρατσούκλι του χασάπη και δήμιος για τις μεθόδους του για την αντιμετώπιση των ανταρτών. Κατά το δεύτερο εξάμηνο του XIV αιώνα στο καθολικό κόσμο είχε δύο μπαμπάδες - ένας επίσημα εκλεγμένοι Urban VI και η δεύτερη εκλεγμένη καρδιναλίου "αντιπολίτευση" Clement VII, ο οποίος ήλπιζε να πάρει την εξουσία και να ανατρέψουν τη Ρώμη Urban VI. Έχοντας αποτύχει, Αντίπαπας Clement εγκαταστάθηκαν στην Αβινιόν, το οποίο στεγάζεται μία φορά την παπική κατοικία.

Μετά το θάνατο του επιεικές VII το 1394 συγχωνεύθηκε με Annecy και Savoy έχασε τη θέση της ως πρωτεύουσα του νομού, και το νομό της Γενεύης, επίσης, είχε φύγει. Λόγω του Δούκα της Σαβοΐας κάστρο απέκτησε πιο όμορφο πύργο του Perrer.

Σήμερα το κάστρο περιβάλλεται από όμορφους δημόσιους κήπους και άλλα ιστορικά αξιοθέατα. Με τα τείχη της πόλης δει την και τη λίμνη Annecy.