Aquest castell era situat al sud del terme municipal, prop del riu de Romadriu, en un petit contrafort secundari a 1 650 m d’altitud. L’any 1987 se’n descobrí l’emplaçament exacte. El Castellarnau és esmentat per primera vegada l’any 1087 quan l’ardiaca Guillem Arnau en féu donació a la canònica de la Seu juntament amb els castells de Romadriu, Colomers i Serret, situats a la Ribalera. Si l’antropònim que l’identifica (castellum Arnalli) ens remet al seu pare, Arnau Dacó, justificaria la distinció que s’estableix amb els altres tres castells d’origen vescomtal traspassats a la seva mare Ermenqarda l’any 1034.
Tedball de Castellarnau (probable germà o nebot de Guillem Arnau) i el seu fill Montaner foren condemnats l’any 1133 pel bisbe Pere d’Urgell a la privació d’administrar justícia als habitants dels castells de Romadriu i Colomers sense la presència del senyor o del seu representant i a rebre només la meitat dels guanys dels plets judicats per ells. Castellarnau desapareix de la documentació després d’aquestes dates.