Situat dins l’antic terme del castell de Gurb. Fou una capella dependent de la parroquial de Sant Andreu de Gurb. Les primeres notícies corresponen a deixes que li feren els anys 1240 i 1241 i se l’anomena de Sant Jaume de Vilafreser per trobar-se situada a migdia del mas d’aquest nom, però el costum dels habitants del terme de Gurb de trametre un romeu a Sant Jaume de Compostel·la perquè pregués per tots, quan el terme es trobava en necessitat per causa de les epidèmies o d’altres adversitats, feu que canviés el nom primitiu pel del Romeu, perquè el romeu tenia el costum d’iniciar el seu camí des de l’església de Sant Jaume de Vilafreser. En els darrers temps ha pres més veneració la Mare de Déu de la Pietat o dels Dolors, que ha suplantat sant Jaume com a principal titular de la capella. De l’edifici antic els propietaris del mas Romeu, annex a la capella, mostren una paret situada darrere l’actual capella reedificada l’any 1779, a l’altra banda del camí, sobre una margera, però la poca entitat de les restes no permeten d’assegurar ni que sigui romànica, ni tan sols una part de la primitiva capella.