El poble de Lilla o l’Illa és situat al sud-est de Montblanc i fa de límit amb la comarca de l’Alt Camp. Les notícies documentals sobre aquest indret i el seu castell són molt escasses; una de les úniques referències documentals localitzades fins a l’actualitat data de l’any 1018, quan Hug, fill d’Ansulf, donà al seu fill Bonfill el castro Alila amb totes les possessions que tenia dins el seu terme. El topònim Alila és segons alguns autors inequívocament d’origen àrab, per la qual cosa és molt possible que abans de la conquesta feudal d’aquesta zona de la Conca de Barberà al segle XI, en aquest indret ja existís aquesta fortalesa andalusina i possiblement un petit nucli de poblament al seu entorn.
Reprenent el fil del document de l’any 1018, hom ha identificat aquest personatge anomenat Hug com a Hug Alemany de la família Cervelló, nissaga que apareix sovint en la documentació dels segles XI i XII contribuint al procés de repoblació d’aquesta zona de la comarca.
Al segle XIV el poble de Lilla, segons el fogatjament del 1359, era de jurisdicció reial, i al segle XVIII consta que pertanyia als Castellví. Posteriorment fou municipi independent fins que l’any 1878 es va agregar a Montblanc, del qual és una pedania en l’actualitat.
Del seu antic castell, avui dia no en resta cap vestigi.