Il nucleo più antico del palazzo baronale, comunemente noto come Castello, è stato costruito negli ultimi decenni del Cinquecento, per volere del feudatario Giovanni Antonio Albrizzi I, come si evince dalla lettura di alcuni documenti d’archivio. 
A questa prima fase costruttiva risale la torre quadrata cinta da contrafforti a sghembo che si può ammirare sul lato destro del prospetto. Questo primo nucleo costruttivo, avanzato rispetto al resto della facciata, fu completato verosimilmente negli anni di governo del nipote Albrizzi II. La dimora signorile fu ampliata nel 1742 da Pasquale Chyurlia al quale si deve la costruzione dell’ala sinistra.