L’ermita de Santa Bàrbara, més coneguda actualment amb el nom de Sant Antoni de Pàdua, és situada a la serra del Montsant, a 690 m d’alçada, vora el camíd’Albarca a Margalef. Segons E. Fort, sembla que aquesta ermita té el seu origen en un asceteri molt antic, d’abans de la colonització d’aquelles terres; l’eremitisme hi va florir afavorit per la fundació de la cartoixa d’Escaladei.
Sembla que fins al segle XV estigué sota l’advocació de santa Bàrbara i mudà de titular quan un ermità, dit fra Llorenç Julià, a mitjan segle XVI, l’any 1559, hi féu bastir un altar dedicat a sant Antoni, per a la qual cosa s’amplià la fàbrica de l’edifici.
L’ermita disposava d’una espaiosa casa per als ermitans, que vers el 1960 es transformà en casa de colònies. Els darrers anys ha estat restaurada.