Llimiana s’aixeca a 789 m d’altitud dalt d’un cingle des d’on és domina l’embassament dels Terradets. De l’antiga vila closa només resten alguns fragments de la muralla a l’angle de ponent. El topònim “castell” identifica al sector nord de la vila, el lloc on és devia aixecar la fortalesa, des d’on parteix el carrer del Castell que va al fossar vell.
Enclavada a l’extrem sud-oriental de la conca de Tremp, Llimiana és debaté als segles X i XI entre els comtes d’Urgell i de Pallars Jussà. Ermengol I d’Urgell havia infeudat els castells de Llimiana i Montoliu a Ramon III de Pallars l’any 954. Un segle més tard aquella vella relació feudo-vassallàtica entre comtes veïns havia derivat cap a l’enfrontament sagnant. En una convinença establerta l’any 1040, Ermengol III d’Urgell definí les querelles que havia infringit Ramon IV de Pallars Jussà, amb el qual renovà el pacte feudal pel castell de Llimiana. Aquest clima no devia ésser aliè a la importància estratègica de la vila i del castell —d’on consta ésser el jutge comtal Fedac, el qual l’any 995 dirimí una qüestió entre l’abat de Sant Genís de Bellera i els homes de Salàs—, importància reafirmada per la complexitat de les relacions feudo-vassallàtiques que s’hi teixiren.
L’any 1055 el comte Ramon V de Pallars Jussà, abans de prendre Valença per muller, vengué i empenyorà propter nupcias als seus sogres, Arnau Mir de Tost i Arsendis, el castell de Llimiana juntament amb el veí de Mur (“castrum quoque de Limingana et de Muro, quia sibi invicem copulantur et coninguntur”), i els castells d’Orcau i Basturs; transcorregut un any, els lliurà en dot a la seva muller Valença. L’any 1064 empenyorà novament el castell de Llimiana, aquesta vegada amb els de Mur i Montanyana, a Arnau Mir de Tost com a garantia de no prendre-li el castell d’Areny. Arnau Mir de Tost tenia aquests quatre castells en feu del comte Ramon V, i quan morí, l’any 1071, els deixà definitivament a la seva filla Valença i al seu nét Arnau. Ramon V i Valença convingueren l’any 1079 sobre el castell i la vila de Llimiana amb llurs feudataris, Guitard Guillem de Meià i la seva muller Guília, els quals els tenien subinfeudats al castlà Guillem Folc.
L’any 1086 el comte Ermengol IV d’Urgell vengué al comte Ramon V de Pallars Jussà, que fins aleshores havia estat feudatari seu, la vila de Llimiana amb els seus castells, perquè ell i la seva posteritat els tinguessin en franc alou. Vuit anys després, Ramon V establí una convinença amb el seu cosí Artau II per la qual li féu donació dels castells de Castellet, de Claverol i la vall d’Escós i li encomanà els castells de Llimiana i de Mur. El castell de Llimiana passà als fills del comte Ramon V, Pere Ramon I i Arnau Ramon I.
L’any 1278 Pere el Gran demanà al seu feudatari, Guillem de Meià, que li lliurés la potestat del castell de Llimiana. El 1287 Alfons el Liberal l’infeudà al comte Arnau Roger; Jaume II confirmà l’infeudació quatre anys més tard i concedí al comte el mer i mixt imperi de Llimiana. L’any 1330 Llimiana passà a formar part del marquesat de Camarasa.
El castell i la jurisdicció de Llimiana foren reincorporats a la corona l’any 1371, però el 1426 Alfons el Magnànim va vendre’ls a Pere d’Orcau pel preu de 6 000 florins. Ramon d’Orcau, hereu d’aquest darrer, inicià l’any 1444 un procés contra els consellers de Llimiana amb la finalitat de mantenir el domini jurisdiccional sobre la vila i baronia.
L’any 1474, durant la guerra civil, Matxicot és féu fort amb els seus homes als castells de Llimiana, Aramunt i a la Vall d’Àger, on el seu successor, Jaume de Pallars, resistí fins el 1477. L’any 1481 Ferran el Catòlic va fer donació de Llimiana a Joan de Luna i el 1487 encomanà als batlles reials, Arnau Guillem de Ponts i Gispert de Ponts, que incorporessin definitivament la vila, el castell i els seus termes al patrimoni reial.