El castell de Sant Jaume es troba en un turó davant del Cadí, dit els Castellassos, sobre l’antic camí d’Ansovell a Adraén, a 1 630 m d’altitud.

Aquest castell es troba perfectament documentat al segle X. Apareix per primera vegada en unes afrontacions del 955: “in termino de castro sancti lacobi apostoli…”. L’església de Sant Jaume ja s’esmentava en l’acta de consagració de Santa Maria d’Urgell. La fortalesa de Sant Jaume fou una possessió dels Pinós, senyors d’altres castells propers.

El 1107 i el 1131 apareix mencionat aquest castell en sengles juraments de fidelitat, el primer d’Ermengol...