El castell de la Torre té el seu origen, tal com el topònim assenyala, en una torre de guàrdia existent a l’indret almenys des del segle X. L’any 938 ja es documenta la villa Torre, vila que és consignada repetidament a partir d’aquesta data. La fortalesa de la Torre acabà essent considerada un veritable castell, i així en la donació de la parròquia de Sant Jaume de la Torre de l’any 1139 ja apareix el castrum de Turri Elnensis. El domini eminent del terme de la Torre fou dels bisbes d’Elna fins a la fi de l’antic règim. En l’actualitat no resten vestigis del castell, que es pot considerar desaparegut.