El castell i el terme de Vallmoll foren en un primer moment una possessió dels Castellvell, com molts altres indrets de la rodalia, i d’aquests passà als Montcada. El primer esment del lloc de Vallmoll és de l’any 1153, en què Guillem IV de Castellvell concedí el mas de Malgraneda, en el terme de Vallmoll, com també certs drets sobre els molins de Xet. L’any 1176 Guillem V de Castellvell, senyor del lloc, en testar, llegà la seva dominicatura de Vallmoll a l’orde del Temple, des de la terra de Ponç de Fonollar fins al riu Francolí. L’orde del Temple retindria aquesta dominicatura fins que no se li retornés una certa quantitat que li devia el testador. A partir de la presència d’una comanda hospitalera a Vallmoll, des de la fi del segle XII, sorgiren alguns enfrontaments entre els hospitalers i els Castellvell-Montcada, que tanmateix continuaren essent senyors de Vallmoll i del seu castell. El 1291, entre les moltes propietats que aportà Guillema de Montcada com a dot quan es casà amb l’infant Pere, germà de Jaume II, figurava el castell de Vallmoll. El 1300 la mateixa Guillema de Montcada cedí, amb reserva d’usdefruit per a tota la vida, al rei Jaume II les baronies de Montcada i Castellvell dins de les quals era inclòs Vallmoll.
Al segle XIV el castell i el terme de Vallmoll apareixen a mans dels Cardona. Quan el 1375 el rei Pere III erigí el comtat de Cardona, una de les possessions que es consideraren del nou comtat fou el castell de Vallmoll, dins la vegueria de Tarragona. Més endavant Vallmoll fou d’altres senyors. El 1420 era senyor de la baronia de Vallmoll, que comprenia els llocs de Vallmoll, Bràfim i Nulles, Gregori de Burguès. Posteriorment, i arran d’una aliança matrimonial, el castell de Vallmoll passà a la família Montpalau, tot i que el 1502 passà de nou als Burguès. Vers l’any 1562, i per un altre matrimoni, la baronia fou traspassada als Pacs, barons de Brunyolí. I a la darreria del segle XVI passà als Boixadors, comtes de Savallà.
A l’inici del segle XIX el castell de Vallmoll era propietat dels Dameto, marquesos de Bellpuig. El 1922 el marquès de la Torre el vengué a Josep Orga i Teresa Serra.
Vers els anys quaranta del nostre segle aquesta fortalesa, mig enrunada, fou venuda per Josep Orga a l’Ajuntament de Vallmoll, actual propietari. Avui dia el seu estat és lamentable, tot i que encara resten gran part dels murs i de les obertures d’aquesta fortalesa quadrada, dels segles XV-XVII, flanquejada per grans torres també quadrades.