Il palazzo fu edificato nel 1636 per volere di Giorgio Castriota (Scanderbeg era il nome dato dai turchi: Iskander=Alessandro, beg=bay).
E’ sorto al posto di un precedente castello, di cui si possono ancora intravedere alcuni elementi: i camminamenti di ronda, le torri di guardia, le garitte per gli armigeri.
Pertinenza del palazzo è un bellissimo giardino, con un’area di sosta circondata da balaustre in pietra leccese, una fontana al centro dei viali disegnati a scacchiera, un pergolato che si svolgeva attorno ai muri perimetrali, e panche in pietra per il riposo.
Il palazzo, oggi in fase di restauro, tornerà ad essere un contenitore culturale polifunzionale, dopo che già nell’Ottocento aveva ospitato una ricca pinacoteca, ora a Molfetta, che annoverava, tra gli altri, dipinti del Veronese, del Domenichino, del Tintoretto, del Giaquinto, oltre che dei più rinomati pittori salentini dell’epoca.
