El lloc d’Ulldemolins sembla que fou poblat des d’època romana, tot i que arqueològicament encara no ha estat suficientment comprovat. D’altra banda, hom ha localitzat al coll de Mònecs les restes d’un possible asceteri visigòtic, que mantingué la vida monacal sota el domini sarraí i amb la repoblació hauria estat l’origen dels ascetes de Bonrepòs i Escaladei. A l’edat mitjana, uns anys abans que aparegui esmentada en la documentació la població d’Ulldemolins, ja figura en algunes escriptures el riu del mateix nom, com és el cas d’un document de l’any 1157 en el qual figura com a rivus de Ulldemolins en la delimitació el terme territorial de la cartoixa d’Escaladei.
Sembla que Ulldemolins, en els primers moments de la seva colonització, fou una dependència del castell de Siurana, del qual era castlà, vers mitjan segle XII, Albert de Castellvell. El 31 de gener de 1166, el rei Alfons I, conjuntament amb el mateix Albert de Castellvell, atorgaren una carta de poblament als habitants d’Occulo de Molinis, que garantia la lliure possessió del seu terme i de les seves pertinences, segons els usos de Siurana, tot establint la demarcació territorial de l’indret. Malgrat la concessió d’aquesta carta de poblament, la colonització del lloc no arrelà amb prou força i, per aquesta causa, el mateix Alfons I, l’any 1175, atorgà una altra carta de poblament a favor d’Arnau Domènec, cavaller siuranenc, el qual l’any 1187 rebé de la reina Sança la dominicatura d’Ulldemolins amb el dret de bastir una capella en el seu castell. Aquesta darrera notícia deixa entreveure clarament que a Ulldemolins ja hi havia una fortalesa o castell abans d’aquesta data, tot i que no es pot determinar en quin moment concret fou bastida.
La vila d’Ulldemolins fou incorporada al comtat de Prades quan el rei Jaume II el creà l’any 1324, i la donà en esponsalici a la seva esposa Blanca d’Anjou. Probablement en aquesta època es feren reformes i modificacions en el castell i al segle XV hom sap que el poble disposava d’un recinte murat que es degué bastir o reforçar amb motiu de la guerra civil catalana (1462-72).
El castell ja devia estar pràcticament derruït al segle XVI, ja que en el solar que ocupava fou construïda entre el 1584 i el 1590 la nova església parroquial de la població, dedicada a sant Jaume. Avui dia, d’aquest antic castell tan sols en resta el record en el nom d’un carrer de la vila, dit “carrer del Castell”.