Aquesta torre fou coneguda com a Mas Nou de Carcerenya, atesa la seva situació en la vall que duu aquest nom. Les primeres referències documentals d’aquesta vall són de l’any 1012, i al llarg de tot el segle XII apareixen documentats topònims similars.
El 1342 Guillem de Carcerenya féu un establiment a Bernat Vidal sobre unes terres del Mas Nou de Carcerenya. L’any 1399 aquest mas passà a poder de Margarida, esposa de Jaume Pallarès, i esdevingué aleshores la casa d’estiueig d’aquesta família barcelonina.
Els Pallarès gaudiren d’aquesta possessió al llarg de 120 anys. El 1520, Elisabet, vídua de Jaume Pallarès, vengué aquesta propietat a Joan Cardona, que era bisbe auxiliar, homònim de Joan Cardona, bisbe efectiu. De la mateixa època és la transformació d’aquesta residència senyorial en una fortalesa amb una finalitat defensiva i militar, amb la incorporació de dues torres a cada extrem de la façana principal, escapçades per sengles miradors, la qual cosa li conferí l’aspecte que conserva actualment. El 1543 el rei Carles V atorgà un privilegi pel qual aquesta torre fou declarada castell.
Poc després de la mort de Joan de Cardona, el 1561, la fortalesa passà a mans de la família Cassador. El 1690 i després d’un plet judicial Josep Aguilar Cassador i Oluja fou proclamat hereu de la Torre Pallaresa. Els seus successors la cediren a la família Copons-Aguilar i posteriorment passà als barons de Segur, dins del mateix llinatge. El darrer descendent d’aquesta nissaga fou Gaietà de Marimon Tamarit i Aguilar.
El 1867 l’adquirí Albert Coll i Vallès, burgès de Barcelona. El 1942 aquesta propietat fou traspassada a Joaquim Ribera i Barnola.
L’any 1931 la Torre Pallaresa fou declarada Monument Històrico-Artístic d’Interès Nacional.