Tot i que són nombroses les referències documentals sobre el castell d’Estamariu, no en resta més que un vague record a la memòria del poble, encara que fou una de les fortificacions més importants estratègicament del vescomtat de Castellbò. Les abundants referències que hom troba sobre la seva existència a la bibliografia contemporània sens dubte la confonen amb el colomer que hi ha vora l’església de Sant Vicenç, força ben conservat i certament impressionant. La seva situació, però, era fora del poble, i apareix clarament en el Spill…: “La torre de Stamariu és cituada al peu de la muntanya devant lo lloch de Alàs, lo loch llà on dihuen Costarona, la qual torre és dins lo dit terme de Stamariu”.
El castell comença a estar ben documentat a mitjan segle XII, tot i que ja des del 1037 hi ha constància d’una guàrdia dins del terme del poble. En el testament del vescomte Pere Ramon de Castellbò, el 1140, és deixat en usdefruit a la muller en espera que el fill sigui nomenat cavaller. Precisament el fill, el vescomte Ramon de Castellbò, signà una convinença amb el bisbe Bernat Sanç, el 1154, per posar fi a uns conflictes. Per a arbitrar en el conflicte entre Arnau de Castellbò i el bisbe Bernat Sanç, el castell fou cedit al bisbe per Ermengol, comte d’Urgell, el 1159. Una altra convinença —relativa a la cessió del castell al comte d’Urgell com a garantia dels pactes— se signà el 1161.
Arnau de Castellbò, el 1185, en va fer donació a Arnalda Caboet, la seva muller. El 1203 Ermengol VIII, per por de la unió matrimonial entre les cases de Castellbò i de Foix, va fer prometre a Arnau de Castellbò que no maridaria la seva filla Ermessenda amb el fill de Ramon Roger de Foix. Com a garantia hi posava, entre d’altres, el castell d’Estamariu. Tanmateix, el matrimoni es va realitzar i el pacte no es va acomplir; el 1206 se signà un nou conveni entre les tres bandes, pel qual Arnau reconeixia novament la sobirania del comte d’Urgell i li retia homenatge per alguns castells, entre els quals hi havia el d’Estamariu. Fou refet per l’església d’Urgell el 1364, en virtut del pacte de pau entre el bisbe i el comte de Foix.