Dove oggi sorge la chiesa di S. Francesco d'Assisi, prima del 1200 esisteva una piccola chiesa dedicata a S. Vittore, di patronato dei Della Rovere. Nel 1209 la chiesa venne donata ai Francescani e agli inizi del 1200 fu ricostruita in forme gotiche. Dell'antico edificio medievale, che aveva di fronte a sé una piccola piazza, rimangono solo poche forme architettoniche, simili a quelle della chiesa di San Domenico, nascoste all'interno del campanile (esternamente racchiuso da un guscio barocco) e un minuscolo affresco raffigurante la Madonna col Bambino sul terzo pilastro della navata sinistra, di gusto tardogotico.

Sotto lo snello rivestimento barocco del campanile (a lato) si nascondono le tracce della primitiva costruzione gotica (qui sopra e sotto): archetti pensili e, nella cella campanaria, alcune trifore.

Nel 1608 la chiesa venne completamente ricostruita e nel 1761 subì la trasformazione definitiva ad opera del Vittone e dell'allievo Quarini. Durante uno dei restauri dell'edificio venne rinvenuta sotto il pavimento una mezza colonna con un'iscrizione dedicata all'Imperatore Giuliano l'Apostata. Davanti alla chiesa, nel 1903, si rinvennero anche alcuni mattoni rotondi per colonnine, forse sospensuræ relative ad un edificio termale romano.     Oggetto della devozione popolare, questo piccolo affresco è stato risparmiato dal radicale rimaneggiamento d'epoca barocca. Esso si appoggia sulla primitiva colonna gotica di forma cilindrica, poi inglobata nell'attuale pilastro settecentesco.