Aquest castell es trobava situat en el límit del comtat d’Osona amb el de Cerdanya, si bé després passà al comtat de Besalú. El seu terme aplegava els termes d’Ogassa i Surroca, una part del de Bruguera i les terres de Saltor i Vidabona; tot plegat pràcticament correspon a l’actual terme d’Ogassa. Les primeres notícies del terme corresponen als pobles de Saltor i Vidabona, que es documenten a partir de l’any 890; quan el bisbe de Vic, Gotmar, consagrà l’església de Sant Pere de Ripoll, concedí a la parròquia consagrada els delmes i primícies de diverses viles de la vall, entre les quals es trobaven les de Saltor (“Saltorre”) i de Vidabona (“Vitabona”).
El castell de Pena surt documentat l’any 1024 a l’acta de consagració de l’església de Sant Martí d’Ogassa, on apareix esmentat com a “castellar de Penna Matricis”. En aquell moment Joan Oriol era senyor del castell. Aquest personatge era fill d’un magnat del comtat de Besalú anomenat Oriol i documentat des del 1004, casat amb Adelaida, filla del comte Oliba Cabreta. L’any 1073 Joan Oriol cedí al monestir la parròquia de Sant Martí d’Ogassa i el castell, però es reservà la castlania i altres drets. Més tard el seu net, el clergue Bertran Joan, l’any 1093 en el seu testament cedí els seus drets al monestir de Sant Joan de les Abadesses sobre la parròquia de Sant Martí d’Ogassa i el puig en el qual havia construït el castell de Pena, a més d’altres puigs. Aquesta donació fou confirmada en un altre document poc després. En el mateix testament donà al seu nebot Guillem Gausfred d’Espasén el castell de Pena amb la castlania, que Arnau Tallant tenia per ell, que havia de tenir en feu del seu nebot Guillem Ramon. L’any 1109 els, segurament, germans de Bertran Joan, Arnau Joan i Berenguer Arnau, ardiaques, confirmaren al monestir de Sant Joan de les Abadesses la donació de l’església de Sant Martí d’Ogassa i del puig on hi havia el castell de Pena i els altres puigs.
La família Oriol prengué el nom de la baronia de Sales, de la qual eren senyors, i continuaren posseint drets al castell de Pena i a Ogassa, mentre que la castlania romangué en mans de Guillem Gausfred d’Espasén i els seus descendents, que eren una branca lateral de la família, tot reconeixent la senyoria dels abats del monestir de Sant Joan de les Abadesses. Així, l’any 1248 Guillem d’Espasén feu jurament de fidelitat a l’abat Ramon de la Bisbal pel castell de Pena. Aquesta situació no perdurà gaires anys més, ja que el 1261 el mateix Guillem d’Espasén vengué a Ramon de Puigpardines els seus drets sobre el castell pel preu de 625 sous. No trigà gaire a revendre els drets adquirits juntament amb d’altres que ja posseïa, puix que l’any 1264 Ramon de Puigpardines vengué a l’abat Dalmau de Minyana la castlania del castell de Pena i tots els alous i cases que tenia a Bruguera i a la vila de Sant Joan de les Abadesses pel preu de 1.500 sous. L’abat de Sant Joan també adquirí del rei Jaume I tota la jurisdicció del castell. Mentre que més tard, el 1342, l’abat de Sant Joan amplià els drets adquirint al rei Pere el Cerimoniós el mer i mixt imperi i les jurisdiccions, llevat de la criminal, d’Ogassa i de Surroca. Aquesta venda fou confirmada pel mateix monarca l’any 1351.
A partir de l’any 1264 les notícies sobre la castlania són escadusseres, sense cap altre nexe que el domini del monestir de Sant Joan, que feu alguna infeudació del castell. L’any 1267 Huguet, fill del comte d’Empúries, feu jurament de fidelitat a l’abat Dalmau de Minyana pel castell de Pena. Més tard, el 1334, l’abat Ramon de Bianya encomanà la batllia del terme de Pena i el castell a Pere de Ribes, de la vall de Ribes. A partir d’aquell moment el castell perdé protagonisme en favor de les parròquies del terme, la qual cosa motivà que fins i tot el nom del castell es perdés.