Situada dins l’antic terme del castell d’Ardèvol, no degué passar de capella rural o sufragània de la parroquial de Santa Maria d’Ardèvol. Les primeres notícies de l’església es troben al testament sacramental de la muller del senyor del castell, Retrudis, publicat l’any 1027, en el qual feia una deixa d’un mancús a l’església de Sant Guerau (“Sancti Geraldi”); com que féu deixes a totes les esglésies del terme del castell d’Ardèvol, ha de correspondre a aquesta d’aquí. L’any 1064 el vescomte de Cardona, Ramon Folc, i la seva muller donaren a Ramon Gerbert l’església de Sant Guerau amb els seus termes i el seu alou, per sis unces d’or, i a més cada any recapte. Fins al segle XX havia estat sufragània de la parròquia de Matamargó, però l’anul·lació de la categoria parroquial d’aquesta féu que Sant Grau passés a dependre de la parròquia de Su, la més propera.