L’indret que dóna nom al municipi, “la Torre de la Ribera”, és a 1 085 m d’altitud, damunt les Cases de la Torre i Reperós, en un coster que domina la confluència del torrent de la vall amb la ribera de Vilacarle. Segurament fou el primitiu centre polític i religiós de la vall Ribagorçana, tot i que no consta mai com a lloc poblat. Segons R. d’Abadal, la pretesa dotació fundacional en què el comte Bernat concedia a Santa Maria d’Ovarra les vil·les de la Torre (Tor-la-ribera) i el Vilar fou confegida a la fi del segle XI. De fet, d’acord amb una sentència arbitral, l’any 1119 illa Turre figura ja dins el domini jurisdiccional del priorat d’Ovarra, abadiat de Sant Victorià d’Assan. El 1296 l’abat Bernat de Sant Victorià assignà al priorat d’Ovarra un cens sobre les rendes col·lectades a la Torre i el Vilar.
El 1571 la parròquia de Tor-la-ribera passà al nou bisbat de Barbastre, tot i que Sant Victorià hi conservà dominis fins a la desamortització.
Vora mateix de l’antiga església parroquial s’aixeca un nou temple que conserva carreus i els titulars de la primitiva, sant Abdó i sant Senén. De la vella construcció romànica podem apreciar encara l’arrencada de la volta al mur meridional i part del de tramuntana, on s’enlaira una torre que sembla més moderna. Es conserva una bonica pica decorada amb escates.