Les primeres notícies d’aquest castell corresponen a l’any 1051, quan Arnau Mir de Tost vengué a Guitard Guillem de Meià el puig del Mulnar amb la seva torre i tot l’alou que hi tenia, situat a l’apèndix del castell d’Orenga o del de Peralba, pel preu de sis unces. Arnau Mir afirmà haver-ho comprat als marmessors d’Arnau Guillem. Aquest Arnau Guillem podria ser un germà del comprador, bé que aquest parentiu no es pot comprovar. Aquest puig amb torre de defensa prengué posteriorment la consideració de castell i amb aquesta condició apareix en el testament que l’any 1193 manà redactar Guillem...