L’antiga torre dels Banys, avui desapareguda, era emplaçada en el mateix indret on avui s’alça, en un turó sobre el poble dels Banys d’Arles, la fortificació feta bastir pel mariscal Vauban l’any 1683.
Hom sap que aquesta torre de defensa fou feta edificar l’any 1237 per Nunó Sanç, senyor del Rosselló i del Vallespir, í el 1389 és citada en la documentació com a torre del Puig dels Banys.