Το κάστρο, που βρίσκεται στην κορυφή του βουνού, χτίστηκε το 1184 από έναν από τους στρατηγούς Caladina να προστατεύσει τα ορυχεία σιδήρου της Ajloun και την προστασία κατά των επιθέσεων από τους Φράγκους. Ajloun Κάστρο κυριάρχησε στις τρεις κύριες οδούς που οδηγούν στην κοιλάδα του Ιορδάνη και των προστατευόμενων τις εμπορικές διαδρομές μεταξύ της Ιορδανίας και της Συρίας. Ήταν ένα σημαντικό κρίκο στην αλυσίδα των οχυρώσεων που αποσκοπούν στην προστασία από τους Σταυροφόρους, οι οποίοι επί δεκαετίες επιχείρησε ανεπιτυχώς να καταλάβει το κάστρο και το διπλανό χωριό.

Αρχικά το κάστρο είχε τέσσερις πύργους με πολεμίστρες χοντρούς τοίχους παραθυράκια για τους τοξότες, και περιβάλλεται από τάφρο και σε βάθος από 16 έως 15 μέτρα.

Στο 1215, ο κυβερνήτης της Μαμελούκων Aibak ibn Abdullah επεκταθεί το κάστρο, προσθέτοντας ακόμα ένα πύργο στη νοτιοανατολική γωνία και την ανέγερση μιας γέφυρας, διακοσμημένο με στοιχεία των περιστεριών, το οποίο μπορεί να δει κανείς σήμερα.

Στον αιώνα XII. Κάστρο ανατέθηκε διοικητής της Δαμασκού και Χαλεπίου Salah ad-Din Yusuf ibn Ayyub. Όταν αποκαταστάθηκε το βορειοανατολικό πύργο. Το 1260, οι εργασίες για την ανακατασκευή του κάστρου διακόπηκε και έπεσε στους Μογγόλους. Σύντομα, όμως, η Μαμελούκων Σουλτάνου Baybars ανακατέλαβαν και την ανοικοδόμηση του φρουρίου και πάλι.