Il palazzo venne edificato nel 1719 sui ruderi di un castello normanno per volere del marchese di Manduria, Oria, Francavilla e Avetrana, Michele Imperiali che commissionò i lavori all'architetto leccese Mauro Manieri. Il palazzo venne utilizzato dal feudatario per le frequenti cacce nei boschi di Manduria quando non era impegnato dalla vita di corte a Napoli. Unico esempio di architettura civile barocca a Manduria, presenta in facciata tre corpi avanzati tra cui quello centrale col grande portale d'accesso che ancora conserva l'antica porta lignea; il sontuoso balcone sostenuto da possenti mensoloni è arricchito della bella balaustra in ferro battuto; qui campeggiano i giganteschi cartigli degli Imperiali con i gigli, il falcone e la corona marchesale. Di notevole eleganza il cortile, con le due poderose scale a loggiato. All'interno sono conservate opere d'arte dei secoli XVII, XVIII e XIX, attribuibili all'artista locale Filotico e alla scuola napoletana.

Oggi è possibile visitare esclusivamente i locali del piano terra ed il cortile.