Al lloc on hi hagué el monestir dominicà, anomenat convent de Penyafort, hi fou englobada, al segle XVII, entre les construccions del cenobi, la torre medieval, i fou revestida de pintures murals. Segons la tradició d’aquest n’era fill el famós eclesiàstic dominicà i canonista sant Ramon de Penyafort, el qual hi nasqué probablement cap al 1185.
No s’ha trobat cap document d’abans del segle XV que esmenti aquest indret. L’any 1405 la torre anomenada de Penyafort es trobava destruïda i pertanyia a la parròquia de Santa Margarida.
La torre de base rodona que avui es pot veure en un costat de l’edifici de l’antic convent i uns llenços de murs del seu entorn són el més antic que resta del conjunt arquitectònic. Amb tot, sembla que aquesta torre és posterior al segle XIII, tot i que no es pot descartar la possibilitat d’una datació més reculada.