Des del començament del segle XII, el domini eminent del castell de Surp fou plenament detingut pels comtes de Pallars Sobirà i encomanat als seus feudataris, els Caregue (el 1126 es documenta Berenguer i Guillem de Caregue; el 1170, Berenguer d’Aspha i Guillem de Caregue) i, ja a les acaballes de segle, als Torena (el 1181 s’esmenta Bernat de Torena; el 1195 Ramon de Torena).
Per l’enllaç entre Guillem de Bellera i Gueraua, filla del comte de Pallars, tota la Vall d’Àssua amb els castells de Surp i de Torena passà l’any 1252 a mans dels Bellera. L’any 1272 Guillem de Surp, abans de professar en l’orde hospitaler, donà el castell i la vila de Surp (la castlania?) al seu nebot Berenguer, fill de Beatriu de Surp.
L’any 1378 el comte Hug Roger II infeudà el castell de Surp a Joan de Bellera. El 1418 Roger Bernat establí una concòrdia amb Bernat Roger d’Eroles pel castell. El 15 de juliol de 1435 Jaume de Bellera vengué a perpetuïtat la Vall d’Àssua i la baronia de Rialb al comte Arnau Roger de Pallars, pel preu de 10 000 florins. Els procuradors de Jaume de Bellera cediren a Joan I, comte de Foix i vescomte de Castellbò, l’alta justícia dels llocs de la vall, la possessió efectiva dels quals no tingué lloc fins el 1460.
Integrat dins del quarter de Rialb del vescomtat de Castellbò, l’any 1519 Surp tenia quinze caps de casa, els quals havien de prestar host, cavalcada i guaita a la Vall d’Àssua, però estaven exempts dels serveis de jova, tragí i obra al castell de Rialb. Això no obstant, els comtes de Pallars conservaren la potestat del castell: l’any 1496 la lliuraren a Bàrbara d’Eroles i encara el 1545 es debatia entre els ducs de Cardona, hereus del comtat, i els castlans Alfons d’Aragó i Mariana d’Eroles. (PBM)
El castell de Surp era situat al capdamunt del poble. De la plaça del poble, al costat de la font encara surt el carrer del Castell. Tanmateix, segons la gent del lloc, ja no en resta res. (JBM-JJBR)