L’esment més antic d’aquest castell, avui desaparegut, és de l’any 1131, en què el vescomte Guerau Ponç II de Cabrera el llegà en testament al seu fill Ponç Guerau II, juntament amb els castells de Comiols, Vilves, Anya, Montmagastre, Gavarra i molts d’altres. D’altra banda, el lloc apareix esmentat l’any 1169 en el testament d’Arnau d’Artesa, segons el qual aquest llegava la meitat de Collfred al seu germà Berenguer, i l’altra meitat al seu fill, Berenguer d’Albesa. La fortalesa es torna a esmentar l’any 1190, en la donació que Sança de Rubió féu als hospitalers de Sant Salvador d’Isot de tot el que posseïa al terme del castell de Collfred. En esdevenir els Cabrera comtes d’Urgell al segle XIII, passà a ser un domini d’aquests comtes. Ferran d’Antequera, després d’aconseguir la corona i d’annexionar-se el patrimoni del comte Jaume d’Urgell, dit el Dissortat, cedí el lloc de Collfred, juntament amb Vilves, a Francesc de Vilamarí en pagament d’un deute de 2 000 florins. Al principi del segle XVII Collfred pertanyia a Francesc de Gilabert i consta que l’any 1632 depenia de Santa Maria de Montserrat.