Les primeres notícies d’aquest castell corresponen a l’any 1051, quan Arnau Mir de Tost vengué a Guitard Guillem de Meià el puig del Mulnar amb la seva torre i tot l’alou que hi tenia, situat a l’apèndix del castell d’Orenga o del de Peralba, pel preu de sis unces. Arnau Mir afirmà haver-ho comprat als marmessors d’Arnau Guillem. Aquest Arnau Guillem podria ser un germà del comprador, bé que aquest parentiu no es pot comprovar. Aquest puig amb torre de defensa prengué posteriorment la consideració de castell i amb aquesta condició apareix en el testament que l’any 1193 manà redactar Guillem III de Meià, el qual el deixà a la seva germana Ermengarda, casada amb Gombau d’Oluja, amb la condició que si morien sense fills havia de passar al seu nebot Ramon de Cervera. Com que l’esmentat matrimoni no tingué fills mascles, el castell passà a la família Cervera-Meià. El darrer membre d’aquesta família, Dolça de Cervera, l’any 1311 donà al seu fill Pere d’Ayerbe tot el seu patrimoni provinent de la família Meià, i entre els castells hi havia el de Mulnar. Al cap d’un any, el mateix Pere d’Ayerbe permutà els seus béns a Catalunya per diversos castells a Aragó i tot seguit el rei uní els béns que havia rebut en permuta a la corona.
Les vicissituds posteriors es desconeixen, ja que sembla que perdé la consideració de castell termenat i restà com a quadra amb el nom de Munnar, que és com a mitjan segle XVII la cita Roig i Jalpí. No esmenta, però, cap torre o castell, que en aquell moment ja devia estar totalment en ruïnes.