Aquesta fortalesa es construí al principi del segle XIII. El 1208 Guilla, senyora o castlana de Banyeres, juntament amb el seu vicarius Miró de Castellvell, feu donació dels turons de Villas ludaicas i de Nudias a Guillema de Montcada, senyora de Castellvell i vescomtessa de Narbona, perquè hi edifiqués viles i fortaleses (forcias) i els repoblés. La jurisdicció de Nulles anà estretament lligada a la de Vallmoll i a la seva baronia fins al segle XIX. Primer fou dels Montcada i d’aquests passà als Foix. El 1365 depenia de Roger Bernat IV de Foix, vescomte de Castellbò i baró de Castellvell. Al XVII era dels comtes de Savallà, barons de Vallmoll.
De l’antic castell o força de Nulles, que E. Morera situa prop de l’església, en l’actualitat, en resten minsos vestigis.