El castell de la Figuera és situat a la part alta del poble abandonat de la Figuera, a uns 20 m de l’església romànica de Sant Josep. Una referència històrica documental que data de l’any 1153 dóna notícia d’aquesta fortalesa. Es tracta d’una escriptura de donació atorgada pel vescomte Guerau Ponç III de Cabrera i la seva esposa Berenguera a favor de Pere de Claramunt i els fills de Ramon de Claramunt. Segons aquest document, els mencionats vescomtes donaren als Claramunt “unam turrim, nominatim ipsa de Figera” amb tots els seus termes i drets, la qual era situada dins la demarcació territorial de Castelló [de Farfanya].
Es pot extreure d’aquesta escriptura que la fortalesa de la Figuera possiblement havia estat al principi una torre de defensa subsidiària del terme de Castelló de Farfanya, lloc que fou conquerit, juntament amb el seu castell i el d’Algerri, segons que indica J. Lladonosa, vers el 1130 pel comte d’Urgell Ermengol VI. Tanmateix, altres historiadors, com P. Sanahuja, situen la conquesta del castell de Castelló de Farfanya entre el 1115 i el 1116.
Fou posteriorment, a la baixa edat mitjana, que la torre de la Figuera degué convertir-se en un castell, si ho jutgem pels vestigis constructius que en romanen. Es tracta d’una construcció baix-medieval, de base rectangular irregular, amb diversos pisos i acabada amb merlets. Aquest castell va formar part, com el d’Algerri —segons que indica el document referenciat del 1153—, dels territoris sotmesos a la senyoria de la casa dels Cabrera, alhora vescomtes d’Àger.