A través d’aquesta serra, la vall s’obre pas cap a la Bolzana, tributària de l’Aglí; aquesta sortida era protegida, des de la seva paret oriental, pel castell, actualment arruïnat, de Castellfisel. El terme és en gran part boscat. La superfície agrícola es limita a 129 ha (el 7% del terme) amb 19 ha de vinya, 2 ha d’hortalisses i 1 ha d’arbres fruiters, 11 ha de cereals i 97 ha de pastures i farratge. El cens ramader és molt pobre. Des del final del segle XIX la tendència de la població ha estat molt negativa: 151 h el 1891, 72 el 1954, 45 el 1975; el 1982 enregistrà una recuperació (67 h), causada per la instal·lació de nous ramaders. El poble, que, amb els seus ravals, agrupa tota la població del municipi, és aturonat a 490 m alt, a la confluència dels dos torrents que formen la vall de Sant Jaume.
El nucli primitiu fou bastit vora l’església parroquial (Sant Pere), entre dues fortificacions (Sabardà, la més antiga, al sud, i el castell de Sant Pere, gran recinte voltat de torres rodones, obra del segle XIII, al nord), identificables, totes dues, amb el castell de Fenollet, que es troben més o menys destruïdes. Aquest castell de Fenollet és esmentat ja el 1020. A partir del segle XI esdevingué residència dels vescomtes de Fenollet. Al voltant del nucli antic, o La Vilassa, hi ha, a l’oest, vora el torrent, els ravals de Lo Molin, Los Nautèrs i Las Bòrdas.