Il sito si presenta ancora come un complesso monastico fortificato, di modesta apparenza esterna ma di massiccia consistenza muraria, ed è costituito da una basilica e da una serie di altri spazi sacri e residenziali (cripta, cortili, convento, antico palazzo cardinalizio). Esso occupa, dal IV secolo, i luoghi di una ricca residenza aristocratica di età tardoantica che era collocata lungo l’antica via Tuscolana (nel percorso corrispondente all’attuale via dei Santi Quattro) e nei secoli fu ripetutamentemente e radicalmente modificato.

La posizione della chiesa era rilevante, per essere in alto e per la sua vicinanza al Laterano, sede allora del papaè di epoca carolingia.

Dopo l’incendio di Roberto il Guiscardo nel 1084, papa Pasquale II provvide alla ricostruzione, riducendo però la basilica alla sola metà ovest della ex navata centrale e trasformando il precedente spazio nell’attuale secondo cortile, mentre quelle che erano state le navate laterali furono inglobate, la destra nel palazzo del cardinale titolare, la sinistra nel monastero fondato dallo stesso Pasquale II, che dal 1138 divenne un priorato dell’abbazia benedettina di S. Croce di Sassovivo presso Foligno.

Importanti restauri  furono fatti eseguire nel XV secolo dal cardinale Carillo dopo la cattività avignonese, quando il complesso fu dichiarato sede pontificia da papa Martino V. Con lo spostamento della sede papale in Vaticano, tuttavia, l’importanza del complesso decadde. Dal XVI secolo l’insieme fu affidato alle monache di clausura Agostiniane e adibito ad orfanotrofio, trasformando tutti gli ambienti che affacciano sul cortile in dormitori per le orfane. È ancora oggi un convento delle Agostiniane.

Alcuni elementi di rilievo del complesso:

i capitelli della chiesa attuale sono di spoglio, provenienti da altre costruzioni antiche;

l’abside, esempio unico a Roma, abbraccia tutte e tre le navate;

i matronei della chiesa, edificati nella ricostruzione di Pasquale II, sono gli ultimi matronei costruiti in Roma;

l’oratorio di San Silvestro: decorato da notevoli affreschi duecenteschi in stile bizantineggiante con “Storie di papa Silvestro e dell’imperatore Costantino I“, tratte dalla leggenda narrata negli Actus Silvestri, testimonia anche nel programma iconografico la rilevanza politica del complesso nel contesto del potere temporale del papato;

il ciclo di affreschi dell’ Aula Gotica, recentemente riscoperti, fondamentale testimonianza dell’arte gotica nella città di Roma. Negli affreschi compaiono figure umane che si stagliano su un prezioso sfondo blu realizzato in azzurrite e che rappresentano i dodici mesi; al di sopra dei mesi sono raffigurate le Arti, nei costoloni della volta le quattro stagioni e sulla vela i segni zodiacali, oggi in parte perduti.

nel reliquiario si conserva la testa di san Sebastiano (il resto del corpo è deposto nella basilica delle catacombe omonime).