Enquadrat dins del comtat d’Urgell, el castell de Biscarri sembla haver-se mantingut almenys al segle XI sota el domini eminent del comte. L’any 1055 Ermengol III donà el “castrum Bescarri” amb la seva església i parròquia de Sant Andreu, amb els delmes, les primícies i les oblacions, a Arnau Mir de Tost, el qual en el seu testament del 1071 el llegà al seu nét Arnau i a la seva filla, la comtessa Valença.
Ermengol IV d’Urgell, l’any 1078, renovà la donació del seu predecessor amb al comte Ramon V de Pallars, la seva muller Valença i llur fill, Arnau. Tot i que la donació del castell era en alou (“ad vestrum proprium alodium”), el mateix document deixa ben clar que el comte en retenia la senyoria eminent.
Desconeixem el moment en què el castell de Biscarri passà sota domini del capítol de la Seu d’Urgell, en mans del qual estigué almenys des del 1381 —data del fogatjament general que li assigna 7 focs— fins al 1831, en vespres de l’extinció de les senyories.