Aquest castell, de situació desconeguda, es devia trobar en una de les estribacions del coll que ha donat nom al municipi. El lloc, conegut documentalment des del final del segle X com la villa Nargo, o la valle Nargoniense, es va estructurar sota la protecció d’un castell esmentat ja l’any 1065, quan la comtessa Sança, vídua d’Ermengol III, va donar terres i censos situats en termes del castell de Nargó a la canònica d’Àger. El domini de tota la vall de Nargó —o d’una gran part— pertanyia a la família Caboet, almenys des del 1060. En canvi, l’alt domini del castell era dels comtes d’Urgell, els quals sembla que pel 1143 el van cedir a la mitra d’Urgell.
Això va crear unes tibantors entre els vescomtes de Castellbò i els seus successors, els comtes de Foix, que es van acabar amb el pariatge de 1278, pel qual el bisbe Pere d’Urtx renuncià a les reclamacions que havia interposat contra el comte de Foix, Roger Bernat, també vescomte de Castellbò, sobre alguns castells, entre ells el de Nargó. Del segle XIV endavant desapareixen les referències a aquest castell, i el lloc de Coll de Nargó figura només com una batllia del vescomtat integrada en el quarter d’Organyà. El Spill… no parla d’aquest castell i en canvi esmenta “La Roqueta, que és una torre o casa situada en un cap de rocha e fà gran fortalesa e la dita casa fa castell e és del terme de Nargó”. No sabem l’antiguitat d’aquesta fortalesa ni si té cap afinitat amb el desaparegut castell de Nargó.
També surt documentat al terme de Nargó un lloc dit Palau (1016) i el 1089 s’esmenta un indret de l’església de Sant Climent de Nargó, al lloc dit ad Palacio, sota el camí o via. No sabem si se’n conserva cap vestigi.