En una convinença de l’any 1066, el comte Artau I de Pallars Sobirà definí al comte Ramon V de Pallars Jussà el castell de Tornafort (Tornastort). Aquest castell passà a integrar els’dominis dels vescomtes de Pallars, anomenats primer de Siarb, i a partir del segle XII, de Vilamur. Com a conseqüència del fracàs de la conspiració nobiliària contra Pere el Gran, l’any 1280 Ramon de Vilamur hagué de lliurar al procurador reial els principals castells, entre ells el de Tornafort, que posteriorment li serien retornats. El lloc de Tornafort, que l’any 1381 tenia cinc focs, continuà formant part del vescomtat de Vilamur, que passà per enllaços matrimonials dels Vilamur als Cardona l’any 1386 i, ja a la fi del segle XVII, dels Cardona als ducs de Medinaceli.