Aquest castell era situat en una antiga quadra del castell de les Pallargues que forma en l’actualitat una partida, amb algunes masies deshabitades, a ponent del terme municipal, al nord de Mont-roig. El 1047 Bernat i Gerberga tenien ja propietats a la quadra de Talarn. Segons documentació de Solsona, el 1112 Bernat Evall i la seva muller Lluciana, castlans o feudataris del lloc, cediren el castell de Talarn a Santa Maria de Solsona. Un pergamí del mateix arxiu de Solsona, de l’any 1115, dóna notícia que foren Bertran i Engèlsia els qui donaren el castell de Talarn, que havien comprat a Bernat Guillamet, a Santa Maria de Solsona. La canònica solsonina completà el seu domini sobre el lloc mitjançant altres donacions, com una vinya i una casa cedides per Andreu de Bellver al paborde Bernat el 1174. Bernat de Talarn surt esmentat el 1194, quan llegà a la canònica de Solsona el delme de Talarn.
El 1194 el paborde de Solsona arribà a un acord amb Guerau d’Alentorn, senyor de les Pallargues, pel qual aquest reconegué els drets de la canònica solsonina sobre Talarn. El 1520 Santa Maria de Solsona hi tenia dotze vassalls.