La Vall Ferrera apareix com una zona de feudalització tardana, on les comunitats vilatanes lliures, aliades amb l’església d’Urgell, resisteixen als intents d’imposició de la senyoria protagonitzats per la família de feudataris del comte, els descendents de Guitard de Vallferrera (Ficapal, Tedball ). Aquest intent d’imposició de lligams feudals té un símbol: el castell de Tírvia —conegut significativament amb el nom de Trencavies—, alçat contra la voluntat popular en un nus de comunicació de primera magnitud i en un centre d’intercanvis que uneix tres valls. Entre el 1095 i el 1122 els homes de Cardós juraren al bisbe Ot que, quan s’haguessin posat d’acord, enderrocarien completament el castell de Tírvia i no permetrien que és tornés a construir. En cas que algú ho intentés, estarien al costat del bisbe i l’ajudarien a impedir-ho. Aquest algú només podia haver estat Tedball de Vallferrera, que en el seu testament tancat l’any 1120, i corroborat pel bisbe Ot, llegà a Santa Maria de la Seu tot el que tenia a la Vall Ferrera en alou, des de la Moxella al port de Boet, a condició que ho tingués el seu fill en feu. Posteriorment a la infeudació de la Vall Ferrera al seu fill, els homes de la ribera de Cardós encara juraren al bisbe Ot defensar el patrimoni que l’església de Santa Maria de la Seu tenia a la Vall Ferrera.
Probablement els pallaresos no aconseguiren evitar la construcció del castell, però el caràcter franc de la vila de Tírvia sembla haver-se mantingut i, fins i tot, refermat sota domini dels Bellera, feudataris del comte de Pallars pel castell de Tírvia (entre el 1180 i el 1184 consta com a feudatari Ramon de Bellera). L’any 1225 Guillem de Bellera concedí una carta de franqueses a la població.
L’any 1272 el comte Roger Bernat III de Foix adquirí la Vall Ferrera i la coma de Burg. El 1296 la comtessa Blanca de Bellera li empenyorà els castells i les viles de Tírvia, la Glorieta, Biuse i Arestui contra el préstec de 53 000 sous melgoresos. Reintegrat el capital dos anys més tard, Roger Bernat III és negà a lliurar els llocs i els castells empenyorats a la comtessa vídua. En la capbrevació que féu l’any 1358 davant dels procuradors reials, el comte Ramon Roger de Pallars encara és lamentava que un Bellera havia empenyorat als Foix, sense consentiment del monarca ni del comte de Pallars, el castell i la vila de Tírvia, domini alodial i directe del rei.
Però el domini jurisdiccional dels Foix ja s’havia consolidat damunt del territori, generant a partir de la segona meitat del segle XIV conflictes de competències amb els bisbes de la Seu. L’any 1428 el comte Joan I de Foix pactà amb el bisbe d’Urgell que durant deu anys hi hauria pau entre els habitants des del pont d’Oliana i el coll d’Espina per tot el vescomtat de Castellbò, la coma de Tírvia, la Vall Ferrera, vall de Sant Joan, etc.
L’any 1484 el comte Hug Roger III de Pallars conquerí la vila de Tírvia als Castellbò. Després del 1491, Tírvia continuà essent vila franca i cap del quarter del mateix nom del vescomtat de Castellbò fins a la seva reintegració a la corona l’any 1548.