Il palazzo troneggia in piazza Duomo con il suo prospetto realizzato nell’Ottocento, maestoso ma semplice nel suo rigoroso stile neoclassico. Imponente è il portale d’ingresso circondato da quattro colonne di stile dorico, tipiche del periodo. Superato l’ingresso monumentale si entra in un’ampia corte interna dalla quale si accede al vecchio ingresso seicentesco del palazzo.  La facciata, dalla quale sporge una sobria balconata, è abbellita da elementi figurativi e bucrani, resi più visibili da un recentissimo intervento di restauro.
Nella sale interne il palazzo presenta bellissimi affreschi neoclassici; a pian terreno è presente una biblioteca molto ben fornita in cui fanno bella mostra di sé pergamene del ‘700 sulla storia della famiglia Cavalli, fra le più importanti della città durante tutto l’Ottocento e la prima metà del Novecento. Imparentata con Antonio Salandra, la famiglia Cavalli rappresenta un tipico esempio di borghesia umanistica. Molti dei suoi esponenti infatti furono medici, avvocati, funzionari statali, e ufficiali di carriera, come il generale Ettore Cavalli che fu anche fra i maggiori matematici e studiosi di balistica applicata nel campo dell’artiglieria del suo tempo.