El lloc de Cauders és esmentat des del segle XII (honor de Calders, 1130) i el seu castell, avui desaparegut, és documentat des de l’any 1217, moment en què tenia la consideració de força (forcia in honore de Calders); posteriorment, l’any 1268, aquest castell és citat com a castrum seu forciam de Calders. En aquesta mateixa centúria es documenta una família que portava el nom del lloc (P. de Calidis, 1270). Entre els anys 1232-1239, sembla que l’indret depenia del famós capità occità Xatbert de Barbaire, emigrat al Rosselló sota la protecció del rei Jaume I de Catalunya-Aragó.
A la darreria del segle XIV, el lloc i la fortalesa de Cauders eren sota la senyoria de Morer de Serrat, moment en què l’infant Joan d’Aragó (futur Joan I) concedí l’alta jurisdicció a Berenguer d’Oms (1381). A mitjan segle XV el castell, com el poble, fou incendiat pels hugonots francesos i el lloc quedà desert fins que, el 1583, Francesc de Grimau, senyor de Cauders, hi establí un grup de pobladors procedents d’Aiguatèbia. Tanmateix, no foren reconstruïdes totes les cases ni el castell, que estava totalment destruït; això permeté que sobre les seves ruïnes es construís l’església parroquial actual, dedicada, com l’antiga, a sant Martí.