L’aparició d’aquest castell va lligada a l’existència d’una família senyorial d’aquest nom, que en tenia el domini als segles XI i XII. Els seus membres llegaren successivament una part dels seus béns a l’església d’Elna: aquest és el cas de Berenguer de Sant Cebrià, el 1124, a la vigília de la seva anada cap a Terra Santa; o encara d’Arnau Ponç de Sant Cebrià, el 1142. El castell i la senyoria foren finalment comprats pels bisbes Guillem de Ceret (1187-després del 1197) i Guillem d’Hortafà (1202-09), segons el que diu l’epitafi d’aquest darrer. Els bisbes l’infeudaren posteriorment a la família d’Urtx. Sota Alfons V, Pere d’Urtx s’intitulava “donzell de Sant Cebrià”. El 1632, la senyoria depenia del capítol d’Elna. L’any 1770, era compartida entre el capítol i el bisbe.