Després de la mort del comte Sunyer i la partició dels dominis comtals l’any 1011, el castell de Caregue tendeix a restar sota domini de la branca del Pallars Sobirà (venda de Ramon IV al seu germà Guillem II de la Vall d’Àssua entre el 1011 i el 1035). L’any 1069 el castlà Pere Roger jurà fidelitat al comte Artau I de Pallars Sobirà pels castells de Caregue, Escàs, Rodés i Torena. Debatuts encara per espai de més de mig segle entre els cosins rivals, l’any 1094 el comte Ramon V definí a Artau II els castells de la Vall d’Àssua, entre ells els de Caregue i Escàs.
A partir del començament del segle XII els Caregue apareixen com a feudataris del comte de Pallars pel castell homònim i pel de Surp. L’any 1124 Gelura, vídua de Bernat de Caregue, donà al comte Bernat Ramon de Pallars Jussà diversos béns i drets a Caregue, Escàs, Rodés i Botella. L’any següent, Pere Bernat, dit Salvar, jurà fidelitat al comte Artau II i prometé donar-li entrada, alberg i sortida al castell de Caregue, i el facultà per a guerrejar-hi i comptar amb la seva ajuda i la de la gent del castell.
Com la resta de llocs de la Vall d’Àssua i la baronia de Rialb, Caregue passà l’any 1252 als Bellera i l’any 1435 als comtes de Foix i vescomtes de Castellbò, i fou definitivament reintegrat a la corona el 1548. Però els Foix només hi detingueren la jurisdicció criminal, mentre que la senyoria plena de Caregue romangué fins al segle XVI en mans dels Perves.
L’any 1578 consta Gaspar de Pons com a senyor de Caregue i l’any 1831 la família Minoves.