El castell de Queralt es trobava situat sobre el barranc de Sant Pere. Les primeres referències d’aquest castell corresponen a l’any 1072, quan Arnau Mir de Tost manà redactar el seu testament i entre les seves disposicions donà a la seva filla Letgarda i al seu marit Guerau Ponç II de Cabrera el castell de Queralt. Es desconeix com aquest castell passà a la família Meià, ja que l’any 1115 Guillem Guitard de Meià manà redactar el seu testament, en el qual deixava el castell de Queralt al seu fill Arnau Guillem i disposava que, després de la mort d’aquest, havia de quedar en mans de Santa Maria de Meià.
Posteriorment, l’any 1164, Bernat, prior de Santa Maria de Meià, amb el consell i la voluntat dels seus germans, permutà a Guillem de Meià, al seu fill Guillem de Meià i a la seva muller Estefania, el castell de Queralt, excepte una certa part que retenia, en canvi de tots el delmes del terme de vall d’Ariet. L’any següent, el 1165, Guillem de Meià i la seva muller Estefania, amb llur fill Guillem, donaren a Ramon de Vernet l’alou del castell de Queralt que havien adquirit per permuta feta al monestir de Santa Maria de Meià, amb prohibició d’alienar-lo; en cas de fer-ho, retornaria al monestir de Santa Maria de Meià. Pels fets posteriors, sembla que el monestir recuperà tot el domini que havia tingut al castell de Queralt.
En aquest castell hi hagué una família de castlans que prengueren el nom de Queralt; el primer membre documentat és de l’any 1304, quan un Guillem Ramon de Queralt signà en un document. Un altre membre d’aquesta família, Guillem Ramon de Queralt, apareix l’any 1314 casat amb Sibil·la de Mont-roig, castlana d’aquest castell. No es pot confirmar si el castell de Queralt sofrí les vicissituds dels castells incorporats al marquesat de Camarasa, ja que mai no se’l cita de forma explícita. Únicament es coneix l’acte d’homenatge que l’any 1378 féu Ponç de Concabella pels feus dels castells i llocs de Mont-roig, Aguilar i Queralt. Això no obstant, el monestir de Santa Maria de Meià conservà els seus drets. A mitjan segle XVII Roig i Jalpí esmenta que el monestir tenia tota la jurisdicció, alta i baixa, i el mer i mixt imperi de la quadra de Queralt. En aquest moment el terme havia deixat de tenir la consideració de castell. Segurament, de l’edifici no en restaven parts visibles, ja que l’esmentat Roig i Jalpí no en diu res en el seu tractat escrit a mitjan segle XVII.