El 1107 i el 1131 apareix esmentat aquest castell en sengles juraments de fidelitat, el primer d’Ermengol Josbert a Galceran Mir, i el segon atorgat per Mir Guitard a Galceran, en dos dels primers documents redactats majorment en català que publicà P. Pujol i Tubau.
Segons altres notícies, el castell d’Ossera fou una possessió dels Pinós, segurament fins el 1371, en què degué ésser venut per Pere Galceran de Pinós al capítol de la Seu.
El castell, avui desaparegut, es degué alçar prop de l’actual poble d’Ossera, a la vall del mateix nom.