Les primeres notícies de l’església daten del final del segle X, i segons Carreras Candi, ja existia l’any 985. De l’any 992, tenim la deixa que féu la monja Aurúcia “ad domum Sancti lacobi qui est in Barchinona” d’una terra a Granada; del 1011 data el llegat de dues unces d’or que féu el prevere Guilarà abans de marxar en peregrinació cap a Santiago de Compostel·la, a la Casa de Sant Jaume “in suo edifitio aut in libro, ubi plus necesse fuerit”; finalment, assenyalem que a l’altar de Santa Maria de l’esmentada església es llegí, l’any 1021, el testament sagramental del potentat barceloní Marcús Grec. A mitjan segle XI consta com a parròquia i coneixem, a més, una nova consagració de l’any 1146.
L’església, situada a l’interior dels murs vells de la ciutat, en l’actual plaça de Sant Jaume, fou enderrocada l’any 1823, però sembla que de l’edifici romànic ja no quedava pràcticament res. Era un edifici que afrontava, per la banda de l’absis, amb la Casa de la Ciutat antiga, i del qual destacava el famós pòrtic, renovat l’any 1388; és també el lloc on es reunia, en algunes ocasions, el consell municipal. Disposem d’una reconstrucció d’aquesta obra, amb alguns capitells i fragments d’arcs originals, al Museu d’Art de Catalunya.