Celestines Εκκλησία με τη μορφή με την οποία μπορεί να δει κανείς σήμερα, χτίστηκε τον XV αιώνα. Η κατασκευή του ξεκίνησε το 1396 και πραγματοποιήθηκε σχεδόν εκατό χρόνια. Αρχικά, υπήρχε μια μικρή ξύλινη εκκλησία που χτίστηκε πάνω από τον τόπο ταφής του Αγίου Πέτρου του Λουξεμβούργου. Προς τιμήν αυτής της ταφής ονομάστηκε και η περιοχή γύρω από το εκκλησάκι - Place de Saint Corp. (η περιοχή των ιερών λειψάνων).

Peter Λουξεμβούργο ήταν γνωστό ότι είχε γίνει ένας υψηλόβαθμος κληρικός στα νιάτα του - σε 15 ήταν ο επίσκοπος του Μετς, στη συνέχεια, μόλις έλαβε τον τίτλο του καρδιναλίου, και μέσα σε 18 χρόνια (1387) πέθανε από την κατανάλωση. Μετά την ταφή του σε Αβινιόν φήμες για λείψανα του θαυματουργή καρδιναλίου, και των μοναχών του Τάγματος του Celestines αποφάσισε να χτίσει πάνω από τον τάφο του μοναστηριού. Με τους αγίους Peter Λουξεμβούργο προστέθηκε μόλις το 1527, και πριν ότι τα λείψανά του τιμήθηκαν χωρίς επίσημη αναγνώριση της αγιότητας της Εκκλησίας.

Αργότερα, δίπλα στο εκκλησάκι εκκλησία Celestines χτίστηκε προς τιμήν του αγίου άλλο - Benezeta, ένας από τους πιο σεβαστούς στην Αβινιόν. Σύμφωνα με τον τοπικό μύθο, στην επίγεια ζωή του ήταν ένας απλός βοσκός Benezet, η οποία εμφανίστηκε ο Χριστός και του είπε να χτίσει τη γέφυρα της Αβινιόν σε όλη του Ροδανού. Όταν οι κάτοικοι της πόλης ζήτησαν να τους δείξουμε Benezeta αποκλειστικότητα τους και να κάνουν οποιοδήποτε θαύμα, έφερε μέσα από την πόλη στον ποταμό, και ένα τεράστιο πέτρινο τους έχουν ορίσει μια θέση για να χτίσει. Benezet έζησε τον αιώνα XII και αγιοποιήθηκε το XIV αιώνα.

Εκκλησία Celestines είχε πολλές αξίες - θρησκευτικά έργα τέχνης και σκεύη, τα οποία κατά τη στιγμή της Γαλλικής Επανάστασης κάηκαν και η ίδια η εκκλησία μετατράπηκε σε στρατώνα. Surviving λείψανα Celestines βρήκαν καταφύγιο σε άλλες εκκλησίες της Αβινιόν - για παράδειγμα, τα λείψανα του Αγίου Benezeta ταφεί στην εκκλησία του Αγίου Adeodata.

Επί του παρόντος, το προαύλιο της εκκλησίας γίνεται το στάδιο κατά το χρόνο του ετήσιου φεστιβάλ του Ιουλίου.