El puig a l’entorn del qual es troba el petit poble d’Enfesta és coronat per un casal senyorial, avui en estat ruïnós, que molt possiblement té els seus orígens en època romànica. Aquest castell o fortalesa era la residència dels castlans, els quals administraven l’indret pels Cardona.
La primera notícia sobre el lloc d’Enfesta és de l’any 1314. En aquesta data era un dels termes inclosos dins el vescomtat de Cardona.
Dins el vescomtat, i després comtat i ducat de Cardona, Enfesta formà part de la batllia de Torà. Va tenir una especial vinculació amb el castell de la Molsosa, la qual cosa propicià que en formar-se els municipis al segle XIX Enfesta s’agregués a la Molsosa.