La Chiesa di San Silvestro si erge sulla cima più alta del monte, sul sito dell'antico tempio romano di Apollo.
L'edificio attuale è frutto di vari rifacimenti susseguitisi nel tempo, come testimoniano alcuni frammenti architettonici dell'epoca carolingia come quelli della cripta o i frammenti di epoca romana. Esternamente, invece, non sono quasi più visibili le tracce dell'antico complesso monastico.
La facciata della Chiesa è formata da blocchi irregolari di pietra calcarea e presenta i resti di un affresco presso il portale d'ingresso. Al suo interno, a tre navate sormontate da volte a botte, spicca l'altare maggiore presumibilmente ricomposto con pregevoli frammenti di una schola cantorum. Notevoli gli affreschi appartenenti a varie epoche dal duecento al quattrocento, in particolar modo quelli raffiguranti la vita di Santa Barbara, di autore ignoto.
Nella piccola cripta, un altare più volte violato custodiva un'anfora romana del Beato Paolo Giustiniani.
