Nell’atmosfera che le case a corte creano in via Costantino, dove Palazzo Sergio è ubicato, emerge immediatamente l’imponenza del portale d’ingresso al palazzo, e colpisce lo stridente contrasto della sua altezza rispetto ai piccoli ingressi della fila di corti che gli sono di fronte, inferiori, generalmente, ai 2 metri.
Agli inizi del 1700, Stefano Sergio ristrutturò il palazzo cinquecentesco, e la facciata esibisce le differenze stilistiche nel portale, tardo cinquecentesco, e nello stemma del casato, barocco.