Aquest castell fou de primer un domini de la família Cervera. Al segle XIII pas sà als Pallars, en feu del rei. A l’inici del segle XIV era senyor o castlà del Cogul Bertran de Solanelles, que el 1306 vengué al monestir de Poblet el castell i la vila del Cogul i 360 sous jaquesos de renda, per 16 250 sous jaquesos. Malgrat aquesta venda, la jurisdicció superior del Cogul encara restà a mans de la família Pallars, fins que el 1385 el monestir comprà a Jaume Roger de Pallars tota la jurisdicció del Cogul, les Besses i l’Hospital de Riudeset per 16 000 sous jaquesos.
Al nord-est de la plaça de l’església del Cogul hi ha el nucli original de la població. Es tracta del carrer de la Vileta, el qual té un traçat en angle recte per a adaptar-se al terreny; primer segueix en la direcció nord, formant una placeta, i després gira gairebé en angle recte cap a llevant i torna a girar cap al nord, formant el carrer dit del Castell. El conjunt de cases de la localitat resten a l’empara d’un rocam que domina la vall del Set des de l’est, on hi hagué el castell. Els antics fonaments del castell es poden correspondre amb el mur perimetral que hi ha al marge sud-oest del rocam, el qual està format per carreus de forma rectangular, un xic irregulars. De totes maneres no sembla una estructura que correspongui al moment original de la repoblació del segle XII, sinó a un moment més tardà, independentment del fet d’haver estat modificada per les construccions modernes.