Aquesta església era situada al marge esquerre del riu Segre, davant de l’actual cementiri municipal, a la Torre del Pastoret, extensa explotació d’horta que era controlada des d’un tossal. Cal cercar l’origen d’aquesta finca en una granja o almúnia musulmana, propietat d’un tal ibn-Sucuna al-Fandir, que disposava de mesquita i mitja dotzena de cases. Amb la conquesta, una part de la propietat passà a mans de Guerau de Jorba i després als templers, però gran part romangué a mans del bisbe de Lleida, que inicià la repoblació efectiva del lloc. Per aquesta raó passà a anomenar-se Palatium Episcopi. L’any 1168 surt ja esmentada en l’Ordinatio ecclesiae Ilerdensis l’església de Palau com a sufragània de l’església de Sant Llorenç de Lleida. El 1370 es documenta el llogaret amb el nom de Palau de l’Horta. Al segle XVIII s’anomenava Palauet i al segle XIX la torre del Pastoret.