Actualment no resta res d’aquest antic castell, segurament situat on ara hi ha el santuari marià de Pedra. La primera referència sobre el castell de Pedra data de l’any 1042, en l’afranquiment que feren Arnau Mir de Tost i la seva esposa Arsenda als senyors de Pedra, Exabel i Garoca, de tots els seus dominis de la vall d’Àger, exceptuant el castell de Pedra. Hom afirma que els béns afranquits foren aconseguits per compra o per aprisió. Els Exabel, senyors de Pedra, són un llinatge il·lustre, segurament autòcton, que apareix com un dels més antics de la vall d’Àger. El documentem al llarg de dues centúries. Albert Benet, en un treball sobre antroponímia, s’adonà del seu possible origen mossàrab. Pel topònim cal considerar igualment el castell de Pedra com un dels més primitius, potser existent ja abans de conquerir-se la vall i el castell d’Àger. El seu terme era molt gran, atès que es prolongava fins al coll d’Ares i termenejava amb el de Sant Llorenç d’Ares i amb el de Colobor.
El dia 6 de febrer de 1060 els marmessors del dit Exabel llegien el seu testament sacramental davant l’altar de sant Miquel de la canònica d’Àger. Es mostra gran protector de la nova abadia, ja que li deixa béns per a l’obra del temple; el castell de Pedra el deixa al seu fill Ramon, i també un mul, la seva llonga i l’espasa; li deixa les cases situades “intus in castello”, la qual cosa indica que hi existia ja un nucli de colons. Altres referències sobre aquest castell són menys importants. No ho és pas el testament de Galceran Erimany, del 1094, que ens assabenta que el dit cavaller era feudatari pel castell de Pedra. Deixa el dit castell al seu fill, i afirma que el posseí de mans del vescomte Ponç Guerau I de Cabrera. No ens expliquem quins devien ser aleshores els drets dels Exabel; potser havien esdevingut castlans. També sorprèn una dada del 1187: l’adscripció aquest any, per part de l’abat Ramon d’Àger, de la torre de Pedra a la sagristia de la canònica, que, d’altra banda, posseïa el 1189 una tal Gina. No sabem si aquesta menció és una referència al castell o bé a l’actual i propera torre del Negre, que es trobava inclosa dins el terme del castell. Sigui com vulgui, el testament de Gina del 1189 testimonia el lliurament del dit castell als hospitalers d’Ares.