Les minses restes del castell de Llardecans són a la part més alta del poble, al sector nord-oest, al lloc conegut com el Castell. El lloc de Llardecans fou de repoblació tardana i no se’n comencen a tenir referències fins al segle XIII. Fou atorgat als Santcliment el 1248. Al segle XVIII pertanyia a la baronia de Maials, que llavors era de la família Bassecourt, comtes de Santa Clara. Aquesta família fou el senyor de Llardecans fins al segle XIX.
La construcció dels dipòsits d’aigua de la població va motivar la destrucció de la major part de les restes del castell. Actualment només resta el mur oriental d’una construcció rectangular, segons es pot deduir per l’arrencament del mur septentrional que encara es conserva, la qual està totalment excavada en les margues que formen la capa basal geològica de l’indret. L’alçada de la part conservada és de 180 cm i correspon al costat d’una volta de mig punt, construïda sobre un sòcol recte de 80 cm d’alt, fet de maçoneria lligada amb morter. A partir d’allí devia començar la curvatura de la volta pròpiament dita, que estaria feta per carreus de 50 per 30 cm, amb un gruix també de 30 cm. La cara visible té un acabat amb un repicat molt marcat que li dóna una característica rugosa a tota la superfície. Solament es conserven tres carreus, ja que la resta han estat espoliats, però resten les seves empremtes en l’encofrat que forma el gruix del mur, el qual s’aprima a mesura que guanya alçada.
Al peu nord-oriental del castell acaba el carrer de la vila closa, que té un fort pendent i una llargada de 120 m. És orientat en direcció est-oest i marca el primitiu nucli de la població, que es va estendre pel vessant de la solana del tossal del castell. A banda i banda d’aquest carrer hi ha les cases més antigues de Llardecans, les quals, però, han estat molt reformades per adequar les als gustos i necessitats actuals. Per exemple, la casa número 3, que és l’única que té encara la façana original, fou objecte a la primavera del 1997 d’una traumàtica actuació; en el seu interior es conserva un arc de diafragma apuntat, de 3 m de llum i una alçada de 4 m, que podria correspondre a una casa medieval, reformada després, als segles XVI i XVIII. De l’antiga porta d’entrada a la vila closa, que a més n’era l’única, resten encara a prop de la casa número 1 del carrer els vestigis de l’estrep dret de l’arc; es tracta de dos carreus de gres i una filada per sobre de calcària negra. A l’altre costat hi ha la façana de l’església bastida al segle XVIII, moment en què probablements’enderrocà parcialment la porta. Res no es veu del mur que tancava la vila closa, el qual molt probablement fou aprofitat per a recolzar les cases noves que es construïren després de l’edat mitjana.