Il palazzo baronale di Latiano detto “Castello”, trova le sue origini, certamente, nel periodo medioevale; edificato nel XII secolo, possiede in sé lo sviluppo architettonico che lo vuole “fortezza”, poiché era circondata da un fossato. Attualmente di questa struttura non è rimasto nulla. Che fosse un fortilizio ci è dato saperlo dal diploma di concessione del casale di Latiano del 1407, dal Regio Demanio ad Antonio Alami ed è la prima indicazione che ci porta a conoscenza della esistenza in Latiano di un’opera fortificata.

Fortilizio che è sicuramente il primo nucleo della struttura che si svilupperà fisicamente nel tempo in fortezza-residenza feudale-palazzo signorile. Nei primi anni del 1500 Latiano ed il castello passarono alla famiglia Francone. Nel 1530 i beni del barone, tra cui il feudo Latiano che fu rivenduto a Paolo di Vittorio di Prioli. Il feudo di Latiano, verso la metà del 1500 e inizio del 1600 ritornò alla famiglia Francone per poi essere ceduto nel 1612 alla famiglia De Sanctis ed infine tra 1600 e 1700 passò di proprietà a Carlo Imperiali III, marchese di Oria e Francavilla.

Con il passaggio alla famiglia Imperiali il castello ha assunto più la funzione di rappresentanza dell’aristocrazia che organismo con qualità difensive ed offensive avendo poi la sua definitiva trasformazione in Palazzo intorno al 1670. Con questo cambio anche la facciata viene trasformata, perdendo cosi i suoi connotati difensivi per rientrare nel gusto dell’architettura salentina dell’epoca. Oltre ad essa, altro intervento molto importante è quello dell’organizzazione interna del complesso che gravita sul cortile centrale.

Gli Imperiali hanno posseduto il palazzo, direttamente o indirettamente, fino al 1909, anno in cui ne divenne proprietario, per acquisto, il Comune di Latiano. Il complesso, nella situazione attuale, si sviluppa su due piani (piano terra e primo piano), nel cuore della città. Con la crescita urbana della città, l’ingresso principale del palazzo fu collocato in Piazza Umberto I, sebbene il vero ingresso del castello sia sito in Via Attilio Spinelli. Oggi è sede della Biblioteca Civica Gilberto De Nitto, della Pinacoteca comunale (che include la quadreria Imperiali) e diverse sale espositive, fra cui il salone di rappresentanza decorato dal pittore latianese Agesilao Flora (1863-1952) nel 1928.