La seva proximitat amb regions de ramaderia d’ovins ha afavorit el desenvolupament d’una important indústria tèxtil ja des de l’edat mitjana, actualment completada amb indústries annexes (colorants químics, maquinària tèxtil, aprests). A la casa de la ciutat, instal·lada a l’antic palau episcopal (obra de Mansart, 1666), hi ha el Museu de Castres (o Goya ), que conté pintures ( La junta de la Compañía de Filipinas i tres retrats) i gravats de Goya. Antic castra romà, la ciutat es formà al voltant d’un monestir benedictí fundat al mateix indret. Després de la croada albigesa hom hi establí un bisbat (1317) que perdurà fins el 1790. Fou un centre important del protestantisme fins que Lluís XIII ocupà (1629) la ciutat. L’any 1685, en esdevenir-se la revocació de l’edicte de Nantes, hi hagué una forta emigració.