Protagonista della storia del Salento, il trecentesco castello di Sternatia, degli Orsini del Balzo, ha esercitato nel corso dei secoli il ruolo di centro politico-amministrativo dei possedimenti delle numerose famiglie nobiliari che ne hanno avuto la proprietà.
Nel 1480 fu saccheggiato dai Turchi durante la presa di Otranto. Più tardi divenne il quartier generale delle truppe di Giulio Antonio Acquaviva, che morì nel tentativo di riconquistare Otranto.
Nel 1734 il castello fu ceduto dalla famiglia dei Cicala a quella dei Granafei, e da questi fu ricostruito come palazzo baronale. La ristrutturazione ne nobilitò il carattere artistico, trasformandolo in una delle più grandi espressioni del barocco leccese.
Gli ambienti, articolati su tre livelli, comprendevano l'abitazione per la famiglia nobiliare, locali di servizio, un carcere ed un'ala di giustizia.
Al primo piano alcune stanze sono ornate da affreschi rococò, raffiguranti scene mitologiche e divinità. Tra le opere d'arte conservate è rilevante una tela del Fracanzano.
Attualmente il piano terra ospita, in una ampia sala a volta, il Centro Studi Chora-ma, che ha curato una raccolta di materiale lapideo decorato, e di antichi attrezzi ed oggetti di uso quotidiano.
In un ampio spazio antistante al palazzo sono state rinvenute numerose fosse frumentarie, in parte ripulite, consolidate e dotate di impianto di illuminazione.
