Inicialment aquest castell s’anomenà de Follia. Depengué de la canònica de Sant Vicenç de Cardona per donació dels vescomtes de Cardona.
Aquest castell es documenta per primera vegada l’any 1040, data en què es consagrà l’església de Sant Vicenç de Cardona, i entre les possessions de l’esmentada canònica figuren el castell, l’església i la vila de Follia, cedits pel bisbe d’Urgell i el vescomte de Cardona, Eriball, com a dotació de la nova església.
El domini de la canònica sobre el castell es constata també en la butlla del papa Anastasi IV de l’any 1054 que confirmava els béns de Sant Vicenç de Cardona.
Als segles XII i XIII n’eren els seus castlans una família de cognom Durfort. En el fogatge conegut com el de les Corts de Cervera del segle XIV apareix com una de les propietats de l’abat de Cardona. El castell, del qual actualment ja no queda rastre, es trobava al lloc on s’assenta el poble de Durfort.