Il Castello aveva scopi difensivi già prima della presa di Otranto da parte dei Turchi. Fu ricostruito e ristrutturato alla fine del 1400. Subì, in seguito, ulteriori modifiche che lo trasformarono pian piano da castello di difesa in residenza nobiliare.
Delle antiche torri di difesa ne sopravvive una a nord-ovest, dopo che, alla fine dell’Ottocento, la torre a nord-est è stata demolita per esigenze urbanistiche, così come era successo per le altre torri che circondavano la Terra, il nucleo abitato centrale di Martano che inglobava il castello.
Recenti lavori di restauro, non ancora completati, restituiscono vita all’illustre costruzione ubicata in via Trinchese e via Marconi.
