El poble del Vilet és situat a 408 m d’altitud a la riba esquerra del Riu Corb, entre Rocafort de Vallbona i Sant Martí de Maldà. El topònim del lloc apareix esmentat en la documentació medieval des de l’any 1078 com a Vilamanyanor, Vilamanyor i d’altres variants, fins a derivar en el nom actual del Vilet. L’any 1084, el vescomte Ramon Folc de Cardona féu donació a Guillem Miró de Boixadors d’una quadra dins el terme del Vilet. A mitjan segle XII, el 1157, Bernat de Boixadors donà el castell del Vilet amb tots els seus drets a Bernat de Santmartí; tanmateix sembla probable que només li atorgués els drets de castlania. L’any 1162 Berenguer Arnau d’Anglesola i el seu fill Guillem feren donació a Pere Ponç de Segura i als seus de les possessions que tenien al lloc del Vilet, situat al terme del castell de Sant Martí, amb diversos drets, i reberen dels beneficiaris 200 morabatins.
El castell i el terme del Vilet acabà a mans del monestir de Vallbona. La vinculació del lloc del Vilet al cenobi de Vallbona té els seus precedents en diverses donacions que feren alguns membres de la família Cardona a l’esmentat monestir cistercenc, a la darreria del segle XII. Així, l’any 1174 Berenguer de Cardona cedí a Vallbona i a l’ermità Ramon els drets dominicals que tenia al Vilet, i el 1191 Guillem de Cardona li donà alguns drets i censos amb l’obligació que el monestir tingués allí un sacerdot que digués els oficis per l’ànima de Ramon Folc. També tingueren un cert domini sobre el Vilet en qualitat de castlans la família Aguda, ja que es té notícia que l’any 1269 Berenguera d’Aguda féu donació de la castlania i dels drets que tenia al terme del castell del Vilet a l’abadessa del monestir de Vallbona. En foren castlans al segle XIV els Maldà i els Anglesola, els quals tingueren diversos plets amb l’abadessa de Vallbona per qüestions derivades dels drets de la castlania.
La possessió definitiva del lloc del Vilet per part del monestir de Santa Maria de Vallbona s’esdevingué el 1380, quan el rei Pere III vengué a l’abadessa els drets jurisdiccionals que tenia a diversos llocs de la contrada, entre els quals la jurisdicció civil i criminal del Vilet. Des d’aleshores i fins a la fi de l’antic règim el Vilet formà part de la baronia de Vallbona. No resta cap vestigi de l’antic castell del Vilet.