El poble de Rebolhet es troba a 750 m d’altitud, a la capçalera de l’Adasig. Aquest indret és esmentat en la documentació l’any 1188, quan Hug de Sornià, en professar a la comanda templera del Masdéu (Rosselló), li cedí, entre d’altres béns, la seva honor de villa Reboleti, juntament amb l’església de Sant Estève; així, els templers del Masdéu esdevingueren mestres de tot aquest territori.
Rebolhet és, sense cap mena de dubte, una vila formada a redós d’un castell, que era situat al costat de l’església parroquial i del qual no roman cap vestigi en l’actualitat. Fins ara no han estat localitzades referències documentals que puguin fornir la història del passat medieval d’aquest castell.
Al segle XIV, Rebolhet esdevingué centre de la baronia de Rebolhet, que comprenia, entre d’altres, els llocs i castells de Ròcaverd, Sequèra, Prats i Trevilhac, i que es trobava en mans d’una branca de la família Perapertusa; aquesta nissaga heretà, el 1459, la baronia de Jóc, i conservà ambdues baronies fins a la Revolució Francesa. El darrer titular era aleshores Pedro Pablo Abarca de Bolea, el famós comte d’Aranda, vescomte de Jóc i baró de Rebollet, entre molts altres títols, que va ésser gran d’Espanya i tingué un important paper polític en la monarquia espanyola.