Tot i la manca de referències documentals, la seva història s’associa a la del veí castell de Toralla, que des del segle XII és troba en mans de la família homònima, feudatària dels comtes de Pallars. L’any 1163 el cavaller Alamany de Toralla, penedit pels danys que havia infringit a l’església de Santa Maria d’Organyà, li féu donació de tot l’honor que posseïa “in kastrum de Torallola”. Al primer terç del segle XVII Torallola consta, al costat de Toralla, Serradell i altres, com un domini de Lluís de Toralla, dins la sots-vegueria de Pallars. L’any 1831 n’era titular la família Orteu.