Petit Palais χτίστηκε το 1317. Βρίσκεται στο βόρειο τμήμα της πλατείας, μπροστά από την κατοικία του Πάπα, και ονομάστηκε έτσι, επειδή του το μικρό μέγεθος και την αξία του σε σχέση με το Παλάτι των Παπών.

Η ιστορία της εμφάνισής του ασαφής: σύμφωνα με μια εκδοχή - χτίστηκε για ανιψιός του Πάπα Ιωάννη XXII, Arnaud de Via, από την άλλη - που χτίστηκε από τον Καρδινάλιο Berengere Φ Γέροντα. Μετά το θάνατό του, το παλάτι και τους λόγους αγοράστηκαν από τον Καρδινάλιο Arnaud de Via. Το 1335 Via De έχασαν τη ζωή τους και το παλάτι ανήκε σε κανέναν μέχρι την άφιξη του Πάπα Βενέδικτου XII, ο οποίος το αγόρασε και πάλι και να μετατραπεί σε επίσημη κατοικία του Αρχιεπισκόπου της Αβινιόν.

Το κτίριο υπέστη σοβαρές ζημιές κατά τη διάρκεια της περιόδου από το 1396 με 1411. Επειδή θεωρήθηκε ένα προπύργιο των Παπών Αβινιόν οχυρωμένη. Μετά το τέλος των εχθροπραξιών, το παλάτι σταδιακά έπεσε σε παρακμή. Στο δεύτερο μισό του XV αιώνα, ο Επίσκοπος Alain de Kotivi και ο διάδοχός του Giuliano della Rovere (που αργότερα θα γινόταν Πάπα Julius II) αποφάσισε να αποκαταστήσει το κτήριο και το 1503 του έδωσε σχεδόν αρχέγονη μορφή. Della Rovere έφθασε στην Αβινιόν το 1474, όπως διορίστηκε από το θείο του, ο Πάπας Sixtus IV, ο επίσκοπος της Αβινιόν. Πρόσθεσε πάνω στις νότιες και δυτικές προσόψεις σε ιταλικό στιλ της Αναγέννησης και το 1487 στήθηκε ένα πύργο (αργότερα, το 1767 καταστράφηκε).

Κατά τη διάρκεια της Γαλλικής Επανάστασης, το παλάτι έγινε ιδιοκτησία του κράτους, στο ΧΙΧ αιώνα ήταν ένα καθολικό σχολείο και αργότερα μια επαγγελματική σχολή. Μόνο στο τέλος του ΧΧ αιώνα στο έδαφος του παλατιού ήταν ένα μουσείο.

Από το 1958, στεγάζει το Μουσείο του Μεσαίωνα. Το 1976 υπήρχε άνοιξε μια γκαλερί έργων των πλοιάρχων της Αναγέννησης. Τα 19 δωμάτια του μουσείου, ιδίως, το έργο του Σάντρο Μποτιτσέλι, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Μονακό, συμπεριλαμβανομένων εδώ είναι η περίφημη «Μαντόνα» του Μποτιτσέλι.