El castell devia ocupar el lloc on avui s’alça l’església, que encara conserva un cert aire defensiu, al capdamunt del poble aturonat d’Aós de Civís.
Formava part del patrimoni dels Caboet; així, el 1102 Guitard Isarn Caboet signà un conveni amb Arnau Ramon, cedint-li diversos drets feudals a la vall de Sant Joan, on s’incloïa el castell d’Aós. El 1110 Guillem Guitard Caboet donà a l’església d’Urgell tota la vall de Sant Joan, amb les seves fortaleses: els hereus Caboet tindrien la vall per infeudació de l’església d’Urgell. Aquesta donació fou renovada per Miró Guitard Caboet, afegint-hi la vall de Cabó (1156). A la mort d’aquest darrer esclatà un conflicte en negar-se Arnau Caboet a respectar el testament del seu germà. En compliment de la disposició, Bernat Sanç, bisbe d’Urgell infeudà el castell d’Aós a Pere de Sant Joan i als seus germans, que s’havien desmarcat del conflicte suscitat per Arnau Caboet, el qual finalment acceptà el testament del seu germà. S’integrà de ple dins del vescomtat de Castellbó pel transferiment del patrimoni dels Caboet als Castellbò.
Els drets sobre el castell d’Aós, que llavors pertanyien a Ramon de Vilamur, foren adquirits el 1226 per Roger Bernat de Foix i Ermessenda de Castellbò, pel preu de 300 sous melgoresos.
Roger IV donà, entre d’altres, el castell d’Aós al seu fill Roger Bernat el 1260. Aquest l’infeudà a Donat d’Aguilar, el mateix posseïdor de la Bastida de Ponts.