El lloc de Tragó és conegut des de l’any 1035. El castell fou en un primer moment del domini dels Caboet, com tota la vall.

La potestat dels castells que hi havia a les valls de Sant Joan i de Cabó passà a l’església d’Urgell gràcies als testaments de Guillem Guitard de Caboet (1110) i de Ramon II (1156). En aquest moment hi havia documentats a la vall de Castellbò els castells de Castellpòdol, Castellpuig, la Serra i Tragó.

Per tots aquests castells, l’any 1162 Arnau de Caboet i els habitants de la vall de Cabó i de Sant Joan van fer jurament feudal al bisbe Sanç de la Seu d’Urgell. El...