Aquest castell fou una de les fortaleses de la baronia d’Entença. El primer esment és de l’any 1295, en què Guillem d’Entença, senyor del castell, va alliberar els habitants de Falset de l’obligació de fer guaita als castells de Falset i Altafalla. Va ser un dels castells que el mateix Guillem d’Entença va cedir ai rei Jaume II el 3 de desembre de 1313 i que després, en crear el comtat de Prades el 1324, aquest rei va cedir al nou comte —el seu fill Ramon Berenguer— com a part integrant de la baronia d’Entença, que també s’afegia al patrimoni de la naixent casa de Prades. El castell d’Altafalla era una fortificació bastida al cim de la muntanya d’Altafalla, a l’est de Falset. Només en resta el peu d’una torre.