El lloc de Vallmanya és al sector més occidental del terme, al marge esquerre de la vall del Cinca. L’indret és conegut des del 1168. L’any 1228 el bisbe de Lleida Berenguer d’Erill fundà en el seu palau un benefici dedicat a sant Andreu i concedí al capítol el castrum et villa de Vallmanya juntament amb la torre de Piconcelló. Es tracta del primer esment del castell. El terme de Vallmanya seguí posteriorment les mateixes vicissituds jurisdiccionals que Alcarràs. En l’actualitat no resten vestigis d’aquest castell en el petit nucli de Vallmanya, on sols hi ha un casal senyorial del segle XVII.