A causa de les reformes que es van realitzar al llarg dels segles i les campanyes de restauració dels segles XIX i XX, aquest edifici se’ns mostra bastant diferent de la construcció original.
Durant anys es va pensar que l’edifici era un baptisteri, però en l’actualitat es creu que correspon a una capella sepulcral on es veneraven les restes d’algun sant màrtir. Per això, en la darrera restauració es va retirar la piscina baptismal que centrà l’edifici durant anys.
Correspon a un edifici de planta central, quadrada a l’exterior i amb una creu grega inscrita a l’interior, la qual cosa comporta quatre fornícules als angles interiors. Al mur est hi ha un absis sobrealçat, de planta de ferradura a l’interior i heptagonal a l’exterior, amb tres finestres d’esqueixada simple i arc de mig punt. Sota l’absis es va construir una cripta, dedicada a sant Celoni, amb una capella absidal de tres lòbuls i finestres d’esqueixada simple. L’absis queda aixecat respecte al nivell de la planta central, i a l’espai que separa una alçada de l’altra hi ha una obertura, tapada amb una gelosia, que permet la comunicació amb la cripta.
La sustentació del cos central amb vuit columnes va condicionar l’estructuració de l’espai interior i, alhora, va diferenciar marcadament els volums a l’exterior: el cos central és el més alt, seguit dels que defineixen la creu grega i en menor grau de les fornícules dels angles. Això va implicar també un tractament diferent en les cobertes. Així, els espais dels angles i l’absis tenen una coberta de volta de quart d’esfera; els braços de la creu grega són coberts amb voltes d’aresta, construïdes en època moderna, i l’espai central és cobert per una cúpula. El pas del quadrat estructurat per les columnes a l’octògon que fa de base a la cúpula s’aconsegueix mitjançant quatre fornícules situades als angles.
Hi ha tres portes d’entrada, una al sud (que s’utilitza per a accedir-hi), una al nord i l’altra a l’oest, aquestes dues tapiades. El seu nivell respecte al paviment de l’interior de l’església és superior. La porta sud sembla una obra del s. XVII. Les altres dues, que corresponen a obertures originals, són construïdes amb carreus d’època romana, tot i que reutilitzats en una època més moderna.
S’obren altres finestres, a més de les de la cúpula, la cripta i l’absis, als extrems dels braços de la creu grega.
El paviment de l’interior de la capella presenta modificacions modernes. L’aparell, similar a l’exterior i a l’interior, és a base de carreus petits disposats en fileres.
Les vuit columnes centrals, que defineixen un espai quadrat, són compostes per basament, fust i capitell reaprofitats d’altres estructures anteriors a la construcció de l’edifici. Alguns fusts, de fet, no coincideixen en amplada amb la base dels capitells. La decoració en relleu que presenten els capitells és de tipus vegetal i de composició força estilitzada. Les columnes situades als angles són de secció més ampla que les dels punts intermedis. Els basaments són realitzats en pedra local, concretament en gres. En canvi, els fusts alternen el granit en els angles amb el marbre en els punts centrals, que de vegades és blanc i de vegades gris. Els capitells són tots de marbre blanc tret dels situats als angles de l’altra banda de l’altar, que són de gres local. La decoració dels capitells, tot i que són d’un mateix tipus, presenta elements diversos. Així, podem veure línies de perles, parelles de fulles d’acant que es cargolen formant volutes i òvuls, principalment. La datació d’aquests elements ha estat situada entre el segle VII i el segle IX, llevat dels que es troben als angles i davant l’altar, que són d’època romana.
L’absis de l’església és decorat amb un conjunt de pintures que ha estat relacionat amb les més antigues de Santa Maria. Va ser donat a conèixer l’any 1902, però no es va recuperar fins el 1920 durant la campanya de restauració i excavacions de tota l’església.
Les pintures es disposen en dos registres. El superior, que ocupa el centre del quart d’esfera, és el més mal conservat. Només es pot reconèixer una forma ametllada amb restes d’una creu, corresponents, sens dubte, a la figura d’un Crist en majestat, envoltat per una màndorla que és sostinguda per quatre àngels. Als seus peus hi ha un personatge ajagut que contempla la divinitat, duu nimbe i mantell i és situat sobre un fons de composició geomètrica.
El registre inferior s’organitza a manera de fris, amb cercles de doble traç al centre que inscriuen un crismó vermell. A banda i banda dels cercles hi ha sis personatges que fan una reverència o genuflexió, amb el genoll dret a terra i la mà esquerra tapant-se la boca, gest que al·ludeix al silenci. Tots porten túnica llarga, pal·li i sandàlies.
Aquest conjunt s’ha relacionat amb obres miniades del segle X, com el Beatus de Girona i el de la Seu d’Urgell, com també amb conjunts de pintura hispànica i conjunts carolingis europeus, cosa que demostra l’herència del món antic a través de la plàstica carolíngia. Cal datar el conjunt entre els segles X i XI.