L’attuale palazzo marchesale di Laterza fu edificato nel 1548, in luogo dell'antico castello del XIV secolo. Dell'originario complesso fortificato rimane oggi, quale unica traccia, un sotterraneo profondo circa due metri, collegato alla chiesa della Vittoria. La ricostruzione del castello avvenne nel XVI secolo ad opera dei feudatari d'Azzia che decisero di ricostruire completamente il fortilizio, rendendo più decorosa, ospitale e sicura la residenza nobiliare e conservando comunque i servizi ed il sotterraneo della precedente struttura.
Il palazzo, così come già il precedente castello, necessitava sul lato nord di notevoli misure difensive, mentre sul versante sud dovevano risultavano sufficienti i dirupi della gravina, una difesa naturale e impenetrabile per l’intero abitato. Risultavano dunque ubicati sul versante posto a nord della precedente struttura, un fossato, un ponte levatoio, mura merlate e feritoie.