Sulla parte più alta del paese sorge il Palazzo Ducale (o Castello ), edificato da Drogone il Normanno nel 1045 sulle rovine di un'antica rocca romana, per poi essere ampliato da Federico II di Svevia nel corso del XIII secolo. Ogni feudatario che vi è succeduto ha adattato la costruzione alle proprie esigenze e necessità, conferendone sempre più l’aspetto di elegante dimora gentilizia in luogo dell’originaria funzione difensiva. Nel muro sud (detto cassero) si conservano tracce dell’antica rocca romana, mentre è di epoca normanna la maestosa torre circolare detta a cavaliere.
Abitato sino al 1961 dai discendenti dei Guevara, fu durante il Seicento una delle più belle dimore patrizie del meridione. Nei suoi saloni dalle volte a cassettoni e nel suo bellissimo giardino pensile hanno trovato ospitalità Torquato Tasso, Giovan Battista Marino, Maria Teresa d'Austria e Papa Benedetto XIII. Nella cappella del palazzo è conservato un reliquiario d'argento contenente una spina della corona che cinse il capo di Gesù ed altre reliquie, probabilmente donate dai Papi Gregorio XIII ed Innocenzo VIII.