Aquest castell coronava la massa rocallosa que domina el poble de Palairac, al nord. El poble actual és el resultat d’un trasllat d’hàbitat, ja que el vilatge medieval s’organitzava al voltant del castell, al cim del turó. Resta poca cosa de la fortificació, sobretot recognoscible a través de l’acondiciament del roquer per a bastir-hi la fortalesa, que consistí a aplanar l’indret. Hom veu també diversos retalls a la roca. Al costat nord-oest, sembla que hi ha un fossat artificial, que defensava el sector més accessible del castell. A més, el castell era defensat per un recinte de pedra parcialment conservat. De dalt a baix del turó de l’antic castell, sobretot al costat sud, hom pot veure unes terrasses que també contenen retalls a la roca. Són el testimoni dels habitatges desapareguts que constituïen el vilatge casteller.
La història del castell de Palairac, amb el seu terme i vilatge, és molt marcada pels conflictes sovintejats entre l’abadia de la Grassa i els senyors de Tèrmes pel control de les importants mines que hi havia en aquest sector del Perapertusès. El poble casteller de Palairac s’esmenta el 1208 en una restitució de béns feta pel senyor de Termes a l’abadia de Santa Maria de la Grassa. Una transacció del mateix tipus s’esdevingué de nou el 1215 amb Alain de Roucy, nou senyor instal·lat a Tèrmes per Simó de Montfort. En aquest moment s’esmenta per primera vegada el castell de Palairac. Palairac també figura entre les senyories recuperades per Oliver de Termes, però aquest es va veure obligat a vendre-la el 1260. Dos anys més tard, Ramon Alban, nét de Bernat Ponç de Palairac, reivindicà la sisena part del castell de Palairac. Al final del segle XIII, els cosenyors de Palairac eren, de fet, vassalls de l’abat de la Grassa. El 1283, el castell probablement degué ser testimoni d’una trobada diplomàtica entre Felip l’Ardit, rei de França, i Jaume II, rei de Mallorca.