L’any 1173, el rei Alfons I de Catalunya-Aragó va autoritzar l’abat del monestir de Sant Miquel de Cuixà, senyor d’ençà del segle X de la vila de Baó, a construir “una fortificació o clos tan fort com fos possible, feta de terra o de pedres, i també una torre i uns valls”. Sembla que també hi devia haver un castell, ja que l’any 1261 hom troba documentada l’existència de Pere Berenguer, castlà de Baó. El 1478 fou venuda una casa situada a la fortalesa del lloc de Baó.

Actualment, d’acord amb els estudis fets per Bayrou i Castellví, sembla que en aquesta població hi ha restes d’un recinte...