Aquest castell era situat al nord-oest de l’església parroquial de Sant Felix, sobre una penya rocallosa de prop de 10 m d’alçada que s’aixeca bruscament. Aquest accident geogràfic és possible que hagués donat nom al poble, que a la baixa edat mitjana era conegut com a Rofiac del Quièr (Quièr o Quer és un topònim pre-romà que significa “roca”). Una petita torre i un recinte constituïen l’essencial d’aquesta fortificació. Avui en queden ben pocs indicis, llevat d’empremtes d’aplanament de la roca. La penya va ser en part destruïda al principi del segle XX per a deixar pas a un carrer. Aquesta intervenció també va significar que es travessés d’est a oest un petit conjunt de parcel·les corresponents a un espai fortificat situat a la part baixa del castell. Al costat sud hi ha senyals d’aquest recinte. Resulta difícil determinar si aquest conjunt constituïa un annex del castell des del seu origen o si es va fortificar una mica més tard, a la baixa edat mitjana.
El castell de Rofiac és esmentat per primera vegada el 1070, juntament amb altres castells del Perapertusès, quan Bernat II, comte de Besalú, rebé un jurament de fidelitat per aquesta fortalesa. Fou un castell sota la senyoria immediata dels Perapertusa. El 1140 Berenguer de Perapertusa prestà jurament de fidelitat al comte de Barcelona Ramon Berenguer IV pels castells de Pèirapertusa i Querbús, la torre de Trinhac i les forces de Cucunhan i Rofiac. El 1217, un tal Ermengol de Rofiac era present entre els vassalls de Guillem de Perapertusa, quan aquest se sotmeté a Simó de Montfort, el cap dels croats. Al final del segle XIII, es documenta una família noble anomenada Rofiac que actua a Rofiac i que té una part de la senyoria de Solatge.