Resta l’enorme torre mestra, rodona i emmerletada, d’uns 30-32 m alt que domina l’església de Sant Pere de Vallferosa i les runes de les cases de l’antic poble de Vallferosa. El castell, ja esmentat el 1052, pertanyia al ducat de Cardona, dins la batllia de Torà.