L’any 920 els habitants de Baén (Baiene) donaren a Ramon I, fill del comte Llop, tots els alous que posseïen a la vila. Es desconeix si aquest és l’origen del domini comtal sobre la vila, però el castell de Baén apareix al segle XI sota l’òrbita del monestir de Gerri, al qual els comtes devien haver-ne fet donació. Entre el 1060 i el 1075 fou signada una convinença entre Roger Bernat i l’arxilevita Bernat Guillem sobre concessions de terres i drets feudals relatius als castells de Peramea, Baén i Bresca. Artau I vengué l’any 1075 el castell de Baén als seus feudataris, Roger Arnau i Guillem Ramon, els quals li juraren fidelitat, i un any després establí que els castlans de Baén, Bresca, Peramea i Montcortès posseïssin els seus castells en nom dels abats de Gerri. Aquesta disposició no evità l’entaulament d’un plet entre Roger Arnau i l’abat de Gerri, del qual es desprèn que Artau I havia pres el castell al monestir i l’havia venut fraudulentament a Roger Arnau, a qui el bisbe d’Urgell havia excomunicat. Després d’un judici que tingué lloc el 1087, Roger Arnau restituí i definí el castell a l’abat, Pere Roger, el qual tot seguit l’hi infeudà. Per la seva banda, el segon dels compradors, Guillem Ramon, restituí a Santa Maria de Gerri la seva meitat del castell.
Al segle XII el domini de Gerri sobre Baén sembla sòlidament establert. L’any 1133 el prior i el paborde de Santa Maria establiren una convinença sobre el castell amb Mascaró i el seu germà Alegret, per la qual aquests n’esdevingueren feudataris. L’any 1149 Alegret de Baén rebé de l’abat Ponç de Gerri la batllia de Baén, i l’any 1156 la castlania, que els seus descendents detingueren hereditàriament. Juntament amb les esglésies de Santa Maria d’Espià, de Sant Sadurní de Cuberes i la vila de Sant Sebastià, el castell de Baén i els seus boscos foren confirmats com a possessió del monestir de Gerri per la butlla d’Alexandre III l’any 1164.
Pel pariatge del 1368 la jurisdicció de Baén passà a ser compartida en règim de condomini entre l’abat de Gerri i el comte de Pallars. L’any 1425 l’abadiat vengué al comte de Foix i vescomte de Castellbò una quarta part del mer i mixt imperi i de la jurisdicció civil i criminal del lloc de Baén —la meitat dels drets que l’antic pariatge reservava a l’abat—. L’any 1439, en el decurs de la guerra que enfrontà el comte de Pallars a la reina Maria, aliada amb els Foix, Baén fou assetjada pels homes del comte de Foix i vescomte de Castellbò.
En l’actualitat no es conserven vestigis de l’antic castell de Baén.