Aquest castell, amb els d’Aristot i Bar, tenia un lloc privilegiat a la frontera entre els comtats de Cerdanya, al qual pertanyien, i el d’Urgell. El lloc és esmentat a partir del 1025 amb la forma Toloriz, que altres documents del mateix segle XI transcriuen Tolorivo o Tolarit. Al seu terme, hi tenia béns la família vescomtal d’Urgell, però no consta que tinguessin el seu castell. S’ha dit tradicionalment, sense provar-ho, que el castell era dels comtes de Cerdanya, atesa la seva importància estratègica. Les notícies directes sobre el castro de Tolorivo són del segle XIV en endavant, quan el lloc tenia dinou famílies i pertanyia a Siscart de Llordat i els seus descendents. No es coneix cap edifici o resta amb el nom de castell; només a un extrem del poblet hi ha una torre cantonera i restes de murs que indiquen una vella fortificació, que estigué en ús fins a la guerra de Successió (1714).