Segons la llegenda, la imatge fou trobada per un pastor de Vilaformiu al segle XIV. De fet, la imatge, molt restaurada, correspon al segle XIV i és molt probable que procedís del castell de Madrona o castell Berguedà, i el primitiu santuari, documentat al mateix segle, era filial de la parròquia de Sant Pere de Madrona. La cova on hom pretenia haver trobat la imatge fou convertida en capella el 1704 i renovada a partir del 1916. El santuari del 1386 fou construït pel mercader berguedà Francesc Garreta i renovat en 1725-41. Més tard fou construït l’hostal i hom hi afegí el cambril i altres dependències. El santuari estigué a càrrec de donats i ermitans, sota la responsabilitat del rector de Madrona o d’un sacerdot custodi. És un centre de gran devoció comarcal.
El 1916 la Mare de Déu de Queralt fou coronada canònicament. Des d’aquest any hom celebra una de les tradicions més destacades associades al santuari: la Patum que se li dedica a la Mare de Déu cada vint-i-cinc anys, en què al mes de setembre la imatge és baixada a la ciutat. Posteriorment aquest ritual ha tingut lloc el 1941, 1966, el 1991 i el 2016, any del centenari de la coronació.