Al límit occidental del pagus del Baridà, Arsèguel sempre va formar part del comtat de Cerdanya. La seva primera menció es troba en l’acta de consagració de la Seu d’Urgell. Ja apareix com a vila l’any 1010, però les dades documentals del castell són escasses i tardanes. En efecte, cal esperar al segle XII per saber que era tingut per la comtessa del Pallars. Per un fogatjament del 1365 se sap que la vila i el castell d’Arsèguel eren del senyor Berenguer d’Oms i que el 1344 restà fidel al rei Jaume de Mallorca.
És tan escassa la informació de què es disposa sobre aquest castell que fins i tot es podria dubtar de la seva existència si no fos per la notícia que en ple segle XVI, dins dels conflictes entre Nyerros i Cadells, els soldats del Sometent de Bagà assaltaren el castell d’Arsèguel i el derruïren totalment l’any 1592.
A causa d’això, del castell no queda res, exceptuant-ne un tros de casa en forma de torre i l’existència a l’extrem sud-est del poble, a la plaça de l’Ajuntament, d’un gran arc de mig punt que forma part d’un mur i que una tradició local ha volgut relacionar-lo amb les restes del castell d’Arsèguel.