Les restes de l’antic castell de Conques s’aixequen dalt d’un turó, al nord de la població.
L’any 1007, el comte Ermengol d’Urgell llegà en el seu testament el castell de Conques (“ipsum meum castrum que vocant Chonchas cum suas aiacencias”) a Santa Maria de la Seu d’Urgell.
El domini eminent del castell degué passar posteriorment a mans del comte de Barcelona, Ramon Berenguer I, el qual, juntament amb Almodis, rebé l’any 1067 pel castell de Conques i altres el jurament de fidelitat de la comtessa Sança d’Urgell. També pels mateixos anys, entre el 1053 i el 1071, els comtes de Barcelona reberen pel mateix castell el vassallatge dels seus castlans Bernat Guillem, Ademar i Borrell, fills d’Estefania.
L’any 1116 Arnau Valgari llegà el castell de Conques al seu fill Pere Arnau.
L’any 1277 fou venut per 5 000 sous i quatre anys més tard fou adquirit per Ramon d’Orcau. L’any 1309 n’era castlà o feudatari Guillem de Montferrer, el qual l’havia cedit al seu germà Ramon en canvi del feu de la Pobla de Segur.
Al llarg dels segles XVI-XIX el castell de Conques conegué els mateixos canvis de titularitat que la resta de jurisdiccions de la baronia d’Orcau.