El poble d’Estanya és situat a 716 m d’altitud, al SE del terme de Pilzà, arrecerat al vessant d’un tossal que coronava l’antic castell, dominant la plana dels estanys que li donen nom. La història d’Estanya ha estat en bona part vinculada a l’abadia de Sant Pere d’Àger, l’arxiu de la qual n’ha conservat tanta documentació que fins i tot permet reconstruir com era el lloc a l’època romànica. El lloc d’Estanya va ésser conquerit per Arnau Mir de Tost vers mitjan segle XI. Aquest magnat i la seva dona Arsenda dotaren l’any 1059 la canònica d’Àger amb el castell d’Estanya. Aquesta donació fou confirmada els anys 1067 i 1068; en la primera ocasió, figura el castell d’Estanya amb l’especificació de tots els seus drets, i a més, es deia explícitament que els castlans haurien de reconèixer l’autoritat de l’abat d’Àger i no podrien dividir entre els seus fills els alous que se’ls havia donat pel feu. Uns anys més tard, vers el 1075, l’abat Guillem Ramon de Sant Pere d’Àger, en presència del vescomte Ponç de Cabrera i del seu fill Guerau, infeudà a Bertran Borrell de Casserres i al seu fill Pere el castell d’Estanya amb la meitat dels seus drets fiscals, serveis, plets i quarteres; en canvi, el castlà es va comprometre a fer hosts, cavalcades, corts, plets, seguiments i alberg. Des d’aleshores, la senyoria d’Estanya consta en poder dels Casserres, que successivament renovaren els lligams feudovassallàtics amb els abats d’Àger (1080, 1100, 1166). Ambdues parts eren representades pels seus propis castlans i l’abat d’Àger hi nomenava els batlles.
El papa Alexandre III ratificà en favor de l’abadia d’Àger, en sengles butlles (1162, 1179), la possessió del castell d’Estanya amb les esglésies, els delmes i totes les seves pertinences. Tanmateix, a poc a poc, els senyors de Casserres arrabassaren el domini jurisdiccional a l’abadia, de manera que Estanya passà a la baronia de Castre, hereva dels Casserres. Consten documentalment les queixes de l’abat d’Àger contra Felip de Castre-Peralta perquè segons deia se n’havia apropiat l’alta justícia (1470). A la fi de l’antic règim el castell i el lloc d’Estanya acabaren en mans dels Medinaceli.
Segons les referències documentals, Estanya era un lloc fortificat amb una muralla i una porta d’accés; les cases amb eres i colomers es distribuïen entorn de l’església de Sant Romà, i les dependències dels castlans eren emplaçades damunt la roca viva i controlaven la vida del vilatge. Com a tot arreu, sorgí un llinatge de castlans que n’agafà el cognom. El primer membre documentat fou Arnau d’Estanya, el qual era nét de Bernat Unifred, batlle d’Àger (1183). L’any 1269 l’abat Pere d’Ager prengué jurament a Guillem d’Estanya, el qual confessà que no podia alienar ni empenyorar el castell sense llicència d’aquell. L’escàs desenvolupament de la població féu que els senyors tinguessin poca cura del castell; així, el 1302 el representant de l’abat requeria a Agnès d’Estanya, vídua de Berenguer de Corçà, que el reparés i el vigilés, car, si no, acudiria al batlle per procedir judicialment contra ella. De fet, l’any següent Agnès d’Estanya traspassà la castlania al seu fill Arnau, reservant-se en vida un cens anual de 30 sous i 2 cafissos de blat. L’any 1342 l’abat Guillem conferí la castlania a Arnau de Mont-roig.
Al segle XIX P. Madoz encara va poder veure un edifici damunt la penya dit “el Castell”. Sens dubte, la recent construcció d’un dipòsit d’aigua ha acabat d’esborrar-ne els vestigis principals.