Il Castello sorge sull’isola di Sant’Andrea, all’ingresso del porto cittadino.  La costruzione, nata come avamposto difensivo della città e del suo porto, fu avviata nel febbraio del 1481 da Ferrante d’Aragona, cui si deve la costruzione di un torrione quadrangolare.  A distanza di pochi anni (1485) il duca di Calabria, Alfonso d’Aragona, trasformò questo primo nucleo difensivo in un vero e proprio castello. La rocca venne quindi prolungata verso Nord-Est con l’aggiunta di poderosi antemurali e baluardi. Per maggior sicurezza, il fortilizio fu completamente isolato con l’apertura sul lato orientale di un canale. Nel 1492, con la costruzione del grande salone al primo piano e delle gallerie voltate a botte del piano inferiore, il castello può considerarsi ultimato. L’impiego del carparo rossastro cavato nell’isola valse alla fortezza l’appellativo di Castello Rosso.
Nel 1558 furono avviati i lavori per la costruzione del Forte al fine di difendere la parte dell’isola rimasta sguarnita ed evitare nuove incursioni nemiche, dopo l’attacco sferrato dalle navi veneziane nel 1528.
Nel 1577, due poderosi bastioni collegarono il Forte alla rocca primitiva. Venne così chiuso l’antico canale di difesa, formando l’attuale darsena.
Il Castello, di proprietà del Demanio dello Stato, è al momento in dotazione al Comando della Marina Militare di Brindisi.