La vil·la de Rifà existia ja el 941 i des d’abans del 1002 pertanyia al monestir de Sant Cugat. Hi fou construïda una capella dedicada a sant Cugat (1098), i als s. XII i XIV s’hi establí una comunitat de monges donades. Com passà amb la majoria d’esglésies dedicades a sant Cugat, pel fet que se'n celebrava la festa el mateix dia que la de sant Jaume des del s. XIV, la capella fou dedicada també a sant Jaume, que acabà desplaçant l’antic titular. El convent s’extingí vers el 1360. Resta l’antiga capella amb l’absis i els murs, però no la volta, de l’antiga església romànica del s. XI.