La costruzione del Palazzo non è il risultato di un progetto edilizio unitario: interventi successivi di accorpamento, trasformazioni e ampliamenti ne hanno modificato l’architettura. In totale si contano almeno 15 cantieri distinti, databili tra il X-XI secolo e il XVIII secolo.
Il palazzo fu costruito agli inizi del Duecento su terreno paterno del cardinale Ugolino Conti che, divenuto papa con il nome di Gregorio IX, eresse il palazzo a sua “dimora mirabile”, anche se fortemente marcata da accenti militari. L’ipotesi più accreditata è che nella prima metà del XIII secolo un massiccio intervento abbia trasformato in palazzo alcune precedenti strutture, consistenti in almeno due case e una torre, con la partecipazione di maestranze federiciane.
È interessante che questa fase del palazzo sia contemporaneamente all’altro cantiere importante della città: in Cattedrale stavano lavorando i Cosmati per la pavimentazione della Basilicata e il Terzo Maestro per l’affrescata della Cripta. La costruzione avvenne, dunque, in un momento di grandi disponibilità economiche e di impegno artistico ad Anagni, dove la competenza romana e pontificia si sposava con gli interessi privati della famiglia del papa.
Pietro II Caetani, nipote di papa Bonifacio VIII, acquistò il palazzo nel 1297 dai pronipoti di Gregorio IX, Adinolfo e Nicola de Papa. In questa fase il palazzo fu nuovamente ampliato con l’annessione di una torre ad est e la costruzione della loggia a sud, e divenne il nucleo più massiccio e antico delle case Caetani. Le sale destinate agli alloggi erano quelle intermedie, al piano terreno si trovavano le stalle e i magazzini, all’ultimo piano e sulla terrazza la guarnigione e le difese. I collegamenti verticali tra i vari piani erano assicurati da scale a rampa e chiocciola.
Con la morte di Bonifacio e col successivo trasferimento della sede papale ad Avignone, Anagni subì un tracollo demografico ed economico. La città che aveva fatto da sfondo a molti degli eventi più importanti della storia europea tornò ad essere un piccolo paese della Campagna Romana.
Anagni visse un rinnovato periodo di crescita economica, sociale, spirituale e culturale solo a partire dal Settecento, epoca in cui il Palazzo del papa fu acquistato dalle Suore Cistercensi della Carità, che ancora lo abitano.