Nel corso dei secoli ha ospitato signori normanni, svevi, angioini, aragonesi, subendo notevoli trasformazioni, ma conservando un ruolo più strategico e militare piuttosto che di dimora feudale e signorile. Nel suo complesso, infatti, è privo di particolari elementi architettonici decorativi, tipici delle residenze nobiliari.Dichiarato monumento nazionale nel 1902, è il monumento più emblematico e caratterizzante del borgo.
Il mastio, conosciuto come Torrione, dall’alto dei suoi trenta metri, è la parte più imponente della costruzione. Orientato verso il paese, è di forma prismatica a pianta quadrata, con feritoie e angoli scolpiti con pietre bugnate e pareti molto spesse. Anticamente era circondato da un fossato ed accessibile tramite un ponte levatoio. Edificato sulla roccia, presenta quattro piani sovrapposti, di cui due con volta a sesto acuto e due ricavate da un rialzo con pavimentazione in legno.
La parte superiore era destinata al signore del castello, in particolare prima della realizzazione dell’ala di sud-est con i nuovi alloggi destinati al feudatario. Era accessibile tramite un unico ingresso, chiuso dall’interno tramite argani o funi in caso di pericoli. I camini in pietra incassati nel muro sono quelli originali. Le altre due torri, la torre Molo e la torre Parasinno, entrambe di forma tronco-conica e certamente posteriori, sono unite da un camminamento ancor oggi percorribile. I sotterranei della torre Parasinno erano destinati a prigione e a sala di tortura. Ed in effetti essa deve il suo nome al termine arabo parasin (ladrone); in essa la tradizione racconta che si trovasse il Mulino a rasoi, uno terribile strumento di morte utilizzato soprattutto contro i saraceni che si erano resi colpevoli di furti o altri reati. 
Sul vasto cortile al centro del castello, costruito in mattoni a disposti a spina di pesce e da ciottoli irregolari, si affacciano tutti gli alloggi riservati al signore, alla sua corte, ai militi e alla servitù.