La chiesa medievale di S. Silvestro, probabilmente di forme gotiche, possedeva un'abside trilobata rivolta ad oriente ed aveva a sud un piccolo cimitero (nei pressi del quale avvenne il Miracolo del SS. Sacramento), in parte soppresso già nel XV secolo per far posto ad un'edicola in stile rinascimentale. Dopo aver rischiato di scomparire del tutto, la chiesa venne ricostruita in stile barocco nel XVII secolo e dedicata al Santo Spirito; nel Settecento assunse le forme attuali. Scarsissime le tracce dell'edificio medievale. All'interno di quello attuale, nella prima cappella a destra, si trova un pregevole crocifisso ligneo del XV secolo. Nella sacrestia esistono, inglobate nella parete, due colonne in mattoni, appartenenti probabilmente all'antico chiostro della chiesa medievale, mentre una terza si trova all'esterno dell'edificio, presso l'abside. Anche la cripta, mai esaustivamente indagata, potrebbe appartenere alla primitiva S. Silvestro. Sopra: nella sacrestia della chiesa di S. Spirito, presso l'uscita verso il vicolo che conduce in piazza Palazzo di Città,si trova una delle tre colonne che restano di un edificio connesso alla medievale chiesa di S. Silvestro (forse il chiostro). La seconda, non visibile ma perfettamente allineata alle altre due, è inglobata all'interno della parete. La terza (a destra), riportata alla luce pochi anni fa, si trova in prossimità dell'abside di S. Spirito, verso piazza IV Marzo, in un cortile un tempo occupato da un edificio medievale (contiguo alla Casa del Senato).

La chiesa di S. Spirito (nella foto la facciata ripresa da via Cappel Verde) è sorta sul medesimo luogo della precedente S. Silvestro, avendo però un orientamento opposto (abside orientata a ovest anziché a est). La cripta, rimaneggiata in epoca barocca, potrebbe appartenere alla costruzione precedente (c'è anche chi, senza prove archeologiche, identifica la cripta con un presunto sacello pagano dedicato a Diana).