Al lloc de Penafel, segurament molt a prop de les restes de l’esglèsia de Santa Maria de Penafel, s’aixecà almenys des del segle XI una fortalesa que pertanyia a la família dels Santa Oliva. En el testament de Gombau Ramon de Santa Oliva de l’any 1097 aquest llegà al seu germà la fortitudine de Penna fedel. A mitjan segle XII encara existia aquesta fortificació, tal com consta en el testament de Guillem Ramon de Santa Oliva de l’any 1143.
Al final del segle XII i al principi del segle XIII apareixen documentats Ramon de Penafel (1181) i Pere de Penafel (1211).