El lloc de Tragó és conegut des de l’any 1035. El castell fou en un primer moment del domini dels Caboet, com tota la vall.
La potestat dels castells que hi havia a les valls de Sant Joan i de Cabó passà a l’església d’Urgell gràcies als testaments de Guillem Guitard de Caboet (1110) i de Ramon II (1156). En aquest moment hi havia documentats a la vall de Castellbò els castells de Castellpòdol, Castellpuig, la Serra i Tragó.
Per tots aquests castells, l’any 1162 Arnau de Caboet i els habitants de la vall de Cabó i de Sant Joan van fer jurament feudal al bisbe Sanç de la Seu d’Urgell. El document va ser signat per 116 caps de casa indicant el seu lloc de procedència, i va significar la pau definitiva entre els comtes de Caboet i el bisbe d’Urgell.
L’any 1186 el bisbe de la Seu d’Urgell va infeudar a Arnau de Castellbò, marit d’Arnaua (filla d’Arnau de Caboet i Ermengarda de Taús), la vall de Cabó, i li encomanà, entre d’altres, el castell de Tragó i diversos castells de la vall de Sant Joan.
El castell de Tragó va passar a formar part del vescomtat de Castellbò i seguí les vicissituds d’aquest domini.
Els comtes de Foix van tenir moltes lluites amb el bisbe d’Urgell i durant el segle XIII es van avenir a reconèixer que tenien les valls en feu per l’església d’Urgell, d’acord amb la sentència dictada en el pariatge d’Andorra de l’any 1278.