Aquest castell també es troba esmentat amb els noms de Pui, Pug i Castellpuig. Apareix esmentat l’any 1100 com un lloc situat a llevant de Favà. També és documentada l’existència de la capella de Sant Salvador del Puig, que potser era la capella del castell.
La potestat d’aquest castell era dels Caboet. Guillem Guitard de Caboet i Ramon II, en llurs testaments dels anys 1110 i 1156 respectivament, donaren la potestat dels castells que es trobaven a les valls de Cabó i de Sant Joan a l’església d’Urgell. Entre aquests castells és documentat el castell de Castellpuig. Devia ser situat entre el serrat del Boi i el tossal de les Àligues.
Va passar a ser propietat dels vescomtes de Castellbò i després dels comtes de Foix, a causa del matrimoni d’Ermessenda, filla d’Arnaua de Caboet i d’Arnau de Castellbò, amb el comte de Foix Roger Bernat.
Aquests comtes van tenir les valls de Cabó i de Sant Joan en feu per l’església d’Urgell a partir del segon pariatge d’Andorra l’any 1278 i després d’un llarg període de lluites amb el bisbe d’Urgell.
Segons Pere de Tragó, l’any 1519 el lloc de Pui era habitat i formava part de la batllia de Cabó, quarter d’Organyà, dins el vescomtat de Castellbò.