Illustre edificio, ha svolto un ruolo difensivo di notevole importanza in epoca angioina, come testimoniano alcune pergamene conservate nell'Archivio di Stato di Napoli.
La precedente fortezza medievale fu restaurata dalla famiglia Gualtieri nel '500, e trasformata in castello. Di questo restauro permangono ora il basamento scarpato e alcune cannoniere. Non è più visibile l'antico fossato profondo 5 o 6 metri.
Con la perdita della funzione difensiva il castello è stato ristrutturato più volte trasformandosi gradatamente in residenza nobiliare. Tra gli interventi di restauro è da notare l'opera delle maestranze martanesi dei Margoleo, i cui antenati avevano lavorato a Lecce con il celebre artista Giuseppe Zimbalo. I segni rimasti sono un bel portale da cui si accede alla scala per il piano nobile ed alcuni stemmi scolpiti, segni che si sovrappongono agli elementi rinascimentali, quali alcune finestre finemente scolpite.
