L’any 1173, el rei Alfons I de Catalunya-Aragó va autoritzar l’abat del monestir de Sant Miquel de Cuixà, senyor d’ençà del segle X de la vila de Baó, a construir “una fortificació o clos tan fort com fos possible, feta de terra o de pedres, i també una torre i uns valls”. Sembla que també hi devia haver un castell, ja que l’any 1261 hom troba documentada l’existència de Pere Berenguer, castlà de Baó. El 1478 fou venuda una casa situada a la fortalesa del lloc de Baó.
Actualment, d’acord amb els estudis fets per Bayrou i Castellví, sembla que en aquesta població hi ha restes d’un recinte que fa uns 65 m de llarg × uns 50 m d’ample, al mig del qual hi ha l’església i una plaça. L’església hi té un lloc central i, per tant, aquestes mides poden coincidir amb les de la sagrera o espai sagrat de trenta passos que envoltava aquesta església des del segle XI. La muralla és feta amb còdols. El portal és tardà.