El castell devia ocupar el lloc on avui s’alça l’església, que encara conserva un cert aire defensiu, al capdamunt del poble aturonat d’Aós de Civís.
Formava part del patrimoni dels Caboet; així, el 1102 Guitard Isarn Caboet signà un conveni amb Arnau Ramon, cedint-li diversos drets feudals a la vall de Sant Joan, on s’incloïa el castell d’Aós. El 1110 Guillem Guitard Caboet donà a l’església d’Urgell tota la vall de Sant Joan, amb les seves fortaleses: els hereus Caboet tindrien la vall per infeudació de l’església d’Urgell. Aquesta donació fou renovada per Miró Guitard Caboet, afegint-hi la...