L’ermita o santuari de Sant Eloi s’aixeca sobre un tossal (410 m d’altitud) situat al nord-oest de la ciutat de Tàrrega. Aquesta capella fou fundada per l’argenter targarí Simó Canet (o Comet), per disposició testamentària, l’any 1249. Dependent de la parròquia de Santa Maria de Tàrrega, es determinà que un prevere en tingués cura, assignant-li uns censals provinents de Seana i Montperler, i una almoina anual de 200 sous. El 1391, en la visita pastoral que hi féu el bisbe de Vic, es constata l’existència del benefici de Sant Eloi. Pels elements arquitectònics que han arribat fins als nostres dies, la capella original devia ser romànica, encara que de petites dimensions, i molt aviat es devia construir un altre edifici, al final del segle XIII o al principi del segle XIV, en l’estil gòtic propi del país, amb arcs diafragma i coberta de fusta de dos vessants. Fins i tot hi ha la possibilitat que el primer temple ja fos aquest, i que, per tant, aquesta capella no hagués tingut mai els trets propis d’un edifici romànic.
L’ermita de Sant Eloi fou reconstruïda entre el 1728 i el 1731. L’any 1872, durant la tercera guerra Carlina, la capella fou convertida en fortí i al seu entorn es bastiren muralles i torricons per a calabossos. Fou restaurada el 1876. Tanmateix, la darrera restauració data de l’any 1964, que es va refer el campanar. L’any 1970 s’hi trobà, aparedada, una talla gòtica de sant Eloi.
La capella de Sant Eloi és un edifici d’una sola nau, amb absis poligonal i coberta de dos vessants. El campanar, de base quadrada, s’adossa al mur de migdia.