Silvestro è una delle più vetuste costruzioni cristiane del territorio tiburtino, giunte sino a noi. Lo stile architettonico è indubbiamente romanico; generalmente a tale proposito, si cita il XII secolo. C'è da dire che più di una fonte indica un'origine paleocristiana della chiesa, facendola risalire a Papa Simplicio (468 - 483) nativo di Tivoli. Situata a Nord, la chiesa s'affaccia sulla piazzetta di S. Silvestro, mentre il fianco meridionale scorre lungo l'attuale Via del Colle (antica Via Tiburtina). La facciata conserva, a grosse linee, il suo aspetto originario. E' a tre finestre con il frontone sostenuto da mensoline marmoree a mattoni dentati e con il portale architravato classico. La chiesa, costruita inizialmente a tre navate, con due file di dodici colonne di marmo cipollino, nel XVII secolo fu ridotta ad una sola navata per motivi urbanistici con la sostituzione delle colonne con un muro e con l'abbattimento della navata di sinistra per allargare la Via del Colle e della navata di destra per ampliare la casa parrocchiale. Il campanile, si trovava sul lato sinistro in corrispondenza della navata laterale, di forma quadrata, tipologicamente affine ad altri esempi tiburtini; fu demolito e ridotto a vela durante l'abbattimento dell'intera navata di sinistra per per i lavori su accennati
L'interno della chiesa comprende oggi l'antica navata centrale con la zona dell'abside. Le arcate, che un tempo dividevano la navata centrale dalle laterali, sono state murate. Rimangono oggi due pilastri nella zona centrale della navata su entrambi i lati. Le antiche colonne di marmo, murate e non esposte alla pubblica vista, furono vendute nel 1767 per sanare le difficoltà nel quale versava la chiesa, allora parrocchia. Sempre di questo periodo è l'innalzamento del pavimento della navata centrale. Nell'unica navata rimasta, in prossimità del presbiterio, è possibile ammirare quanto è rimasto di uno splendido mosaico cosmatesco che, originariamente, pavimentava la Chiesa
Nel 1911 è stata riportata alla luce la grande decorazione ad affresco dell'abside e dell'arco trionfale collocabile in ambito cronologico che va dal XII sec. agli inizi del successivo, certamente l'opera di maggior interesse della chiesa. Altri restauri furono eseguiti, come ricorda una lapide apposta a sinistra dell'entrata, in piena guerra, nel 1917. Gli affreschi, molto simili a quelli della cripta del duomo di Anagni, sono legati alle leggende dell'imperatore Costantino e di san Silvestro (potere temporale e potere spirituale); essendo stati eseguiti con somma arte in una chiesa situata al centro di una nuova area urbana annessa all'ampliamento della cinta di mura cittadine, si è portati a pensare che essi devevano rispondere ad un preciso disegno politico. La scena della glorificazione è situata nell'arco trionfale: al centro, in alto Cristo benedicente campeggia dentro un aureola con ai lati i quattro evangelisti, i sette candelabri ed i quattro seniori dell'Apocalisse che offrono calici d'oro, simbolo delle preci dei giusti. Nel catino dell'abside è invece situata la teofania, l'apparizione del Cristo sulla cui testa Dio regge una corona; il Salvatore è in atto di alzare la mano destra verso Paolo mentre con la sinistra da a Pietro (che ha in mano le chiavi ed il pastorale) il rotolo della Legge. La scena paesaggistica raffigurante una riva del giordano, è racchiusa tra due palme su una delle quali è posata una fenice, simbolo di resurrezione. Sempre nell'abside sono tre cicli di affreschi. Nel primo ciclo dodici agnelli (gli apostoli) divisi in due schiere si dirigono verso l'agnello divino posto al centro e sanguinante. Nel secondo ciclo, molto più ampia della precedente, la Vergine con il Bimbo benedicente è assisa su un trono. Alla sua destra (a sinistra di chi osserva, partendo dal centro verso l'estremità) troviamo S. Giovanni Battista, Salomone, Abacuc, Abdia, Ageo, Malachia,ognuno recante un cartiglio con la propria profezia. Tra Abacuc ed Abdia si apre nell'abside una finestra lucifera che ha costretto l'artista a porre sollevato il cartiglio di Abdia. Alla sua sinistra (a destra di chi osserva, iniziando dal centro) vediamo Giovanni evangelista,David. Isaia, Ezechiele,Osea, Daniele, Giona. Anch'essi recano un cartiglio, che nel caso di Ezechiele è rivolto in alto per la presenza della seconda finestra lucifera, ma con andamento opposto e quindi in simmetria, con l'altro cartiglio sollevato da Abdia. Nel terzo ciclo sono raffigurate le leggende legate alla vita di san Silvestro ed alla conversione di Costantino. Davanti al presbiterio si può ammirare, tra le due rampe, il pavimento originario, di tipo cosmatesco. Al di sotto del presbiterio, si estende la cripta, che come quella della vicina chiesa della Ca**tà, ha una pesante colonna centrale a mò di sostegno ed una piccola abside circolare. La cripta è visibile dalla chiesa superiore, attraverso una “fenestella Confessionis” situata proprio al centro della navata, in prossimità del presbiterio rialzato, al quale s'accede tramite due rampe di scale poste ai lati della “Fenestrella”. Al centro del presbiterio vi è l'altare e sembra che la chiesa in origine possedesse anche un ciborio marmoreo. Degno di nota è il tabernacolo bronzeo sulla cui destra vi è il luogo dove un tempo, si riponeva la SS.ma Eucarestia. Chiusa per alcuni anni, ad oggi la Chiesa è meta di giovani sposi che vogliono coronare il loro sogno d'Amore. Inoltre, è sede internazionale dell'Associazione dei “Cavalieri di San Silvestro”
