De l’antic castell de la Pobla de Lillet no en queda cap resta visible i només trobem el seu record en la toponímia: l’actual rectoria és construïda sobre un indret que hom anomena “El castell”, potser indicatiu del lloc on s’erigia la fortalesa. L’origen del castell de la Pobla s’ha de relacionar amb la política repobladora que varen dur a terme els senyors de Mataplana a la vall de Lillet. Fins al segle XIII aquesta vall va ser defensada per l’antic castell de Lillet que ja apareix documentat el segle IX, però, quan aquest va començar a decaure, els Mataplana varen iniciar la construcció d’una altra fortalesa, a uns dos quilòmetres de l’anterior, al voltant de la qual va créixer un nucli de poblament, la Pobla de Lillet. Per tant, podem dir que la construcció del castell de la Pobla data del segle XIII i que ve a ser la substitució del castell de Lillet, el qual en la documentació dels segles XIV i XV apareix ja com en plena decadència. Els orígens de la Pobla els trobem en un document datat el dia 15 d’abril de 1297; en ell Ramon d’Urtx i el seu fill Hug de Mataplana fan una concessió àmplia de privilegis, llibertats i franqueses als hàbitats de la Pobla. Entre aquests cal destacar la redempció d’alguns tributs i dels mals usos, la llibertat de canviar de residència, garanties sobre les propietats, etc. Aquesta política de repoblament degué ésser efectiva, car consta que l’any 1325 hom construïa cases al carrer inferior del poble, de cara al Llobregat, i consta també que aquest any i els següents es vengueren molts terrenys per a construir cases. Els documents, quan esmenten aquest assentament en la confluència del Llobregat i l’Arija, l’anomenen Lillet Nou per a diferenciar-lo de l’anterior anomenat Lillet Vell. Aquest creixement demogràfic s'interrompé amb les crisis del segle XIV, que s’iniciaren el 1348 amb l’epidèmia de pesta negra, però que ja s’havien començat a evidenciar a partir del 1333, conegut com “lo mal any primer”. Per tal de combatre el despoblament produït per la crisi, els Mataplana confirmaren les franqueses de la Pobla: el 1345 ho feu Roger de Pallars i el 1349 Artau de Pallars. Això pot explicar que, malgrat la davallada demogràfica general, el fogatjament de 1365-70 registri per a la Pobla un total de 54 focs i, d’aquests, 46 corresponguin a la part nova del poble. El 1353 Artau de Pallars donà a Ramon Ferrer la torre mig enrunada que hi havia a la Pobla, al lloc anomenat la Plana del Pujol. El torretà estava obligat a residir-hi contínuament i a tenir-la en bones condicions. Durant el govern d’Artau de Pallars la fortalesa de la Pobla fou ampliada i modificada, segons es dedueix d’unes cartes de valoració de cases que van haver de ser derruïdes per a l’ampliació. El 1374 Jaume Roger de Pallars vengué la baronia de Mataplana a Pere Galceran de Pinós, que passà així a ésser senyor de la Pobla i del seu castell. El 1389, davant el perill que suposava la invasió dels armanyaguesos, comandats per Bernat, germà del comte d’Armanyac, i atesa la situació estratègica del poble, s’iniciaren unes obres de fortificació i reforçament del castell de la Pobla i de la fortalesa que, segons la documentació hi havia al costat. Moltes persones del poble foren ocupades en aquesta tasca d’urgència i sembla que alguns d’ells invocaren les franqueses concedides pels Mataplana, però Joan Orriols, jutge ordinari de la baronia, establí que es tractava d’una emergència i que, per tant, l’obligació de treballar-hi era efectiva. Els treballs continuaren durant els mesos de gener i febrer de 1390, especialment quan arribà la notícia que les tropes enemigues havien ocupat Bàscara a l’Alt Empordà. En temps de la guerra civil catalana, al final del segle XV, els habitants de la Pobla es decantaren, en general, pel partit de la terra, a diferència del seu senyor, que milità en les files del rei. En el curs de la guerra la Pobla fou assaltada i cremada. El 17 de març de l’any 1472, Felip Galceran de Castre i de Pinós, vescomte d’Illa i de Canet, accedia a la capitulació del castell de la Pobla, que els documents anomenen “Torre de Riembau”, agafant el cognom del batlle de la vila, Jaume de Riembau. Poc temps després, Felip Galceran de Castre i de Pinós rebé l’homenatge dels pobletans i jurà els seus privilegis; Joan Vila fou nomenat batlle de la vila en substitució de Jaume Riembau. A partir del segle XV les notícies sobre el castell de la Pobla són molt escasses: el 1578 la muralla de la vila és citada com una afrontació i, el 1618, hi ha una al·lusió a una casa “dejús lo castell de la Pobla...”. “La Pobla de Lillet” figura, el segle XVII, com una de les possessions dels ducs d’Alba.