È il più imponente e prestigioso palazzo nobiliare di Pergola. Fu costruito nella prima metà del Settecento.
Nel 1785 passò all’Eremo di Fonte Avellana che lo destinò a residenza estiva dei novizi. Nel 1866 fu confiscato dal Regno d’Italia alla congregazione Camaldolese diventando proprietà comunale. Sede delle scuole elementari fino al 1961, fu poi restaurato, riacquistando l’attuale splendore. L’interno presenta diverse sale con una cappella religiosa privata e nel salone del piano nobile un raffinato camino decorato con stucchi raffiguranti scene mitologiche, realizzato nel 1787. Assume l’attuale nome dall’ultimo proprietario, il dott. Enzo Giannini di Rimini, consorte della contessa Giovanna Cenci Bolognetti.