Bellfort és un terme que s’estén a migdia de Palau, des de la carena on passa la carretera de Gualter a Forquer, fins al fons del torrent de Torreblanca, en un terreny escabrós de torrents, boscos i algun pla. La capella de Sant Serni i algunes cases juntes es troben en un planell a mitja costa, a uns 2 km de la carretera. Una de les cases veïnes era senyorial i fortificada, segons les restes del final de l’edat mitjana que ens han pervingut, i podria correspondre a l’antic castell del lloc.
Bellfort depengué dels hospitalers de Sant Joan de Jerusalem, per mitjà de la propera comanda de Sant Salvador d’Isot, per una donació que feren els comtes d’Urgell Ermengol VII i Dolça el 1164, que consistí en el poble de Bellfort, junt amb altres llocs que estaven sota la batllia de Gombau de Ribelles. Més endavant Bellfort fou de la comanda de Berga i de Costoja i durant el segle XIV passà al domini de la comanda de Susterris, que el mantingué fins al temps de la desamortització.
El lloc de Bellfort, on no es formà cap tipus de comunitat hospitalera, era regit per un castlà o batlle. El 1449 els hospitalers hagueren de pledejar contra els germans Arnau Guillem i Gisbert de Ponts, que pretenien esdevenir senyors d’aquest castell.