El lloc de Toloriu, esmentat en l’acta de consagració de la Seu d’Urgell, apareix documentat l’any 1025, en què la vescomtessa Guisla i els altres marmessors del testament del vescomte Arnau, donaren a Santa Maria de la Seu un alou situat a la vila de Toloriz, al terme del castell de Bar, i en altres documents del 1058 Tolarit, el 1080 Tolorivo, i els anys 1084 i 1088 Toloriz.
L’any 1081 els habitants de Bar i Toloriu signaren un document on es comprometien, davant el comte Ermengol i el bisbe Bernat, en canvi d’una promesa de pau i treva, a aplanar el camí entre el grau d’Aristot i el Riutort, i a construir un pont a Bar, sobre el riu Segre.
En els fogatjaments del segle XIV, la vila de Toloriu consta com a pertinença de Siscar de Llordat.
No es tenen notícies de l’església de Sant Jaume de Toloriu, actualment supeditada a l’església parroquial de Castellciutat, malgrat ésser de l’arxiprestat de Batllia-Baridà.