El lloc de Millà és consignat per primera vegada l’any 1066, en la distribució de béns de la canònica de Sant Pere d’Àger que feren Arnau Mir de Tost i l’abat Guillem Ramon. Fins a mitjan segle XII no trobem una referència del castell de Millà. La primera apareix en el testament de Ramon Berenguer d’Àger, del 1158, el qual concedí el castell de Millà a la seva filla Berenguera. Per la documentació balx-medieval hom sap que el castell pertanyia al vescomtat d’Àger i que l’abadia de Sant Pere posseïa l’església parroquial, com ho palesa la butlla d’Alexandre III del 1162.
L’estructura actual del poble de Millà, a 3 km d’Agulló, amb la roca del castell en un extrem, recorda Corçà. Caldria fer prospeccions arqueològiques per a poder estudiar la infrastructura o la planta d’aquest castell roquer, del qual no subsisteix cap vestigi vistent.