En resten diverses edificacions que formen un conjunt notable. Hi ha la torre mestra rodona (segle XI) i restes d’un casal senyorial gòtic amb els cups, el colomar i altres senyals de dependències, com també de murs que protegien la part dels senyors. La torre consta de tres pisos i s’hi accedeix per dues portes obertes al primer i segon pis; els pisos segon i tercer estan coberts per falses cúpules de pedra. Del casal destaca una sala coberta amb un arc de diafragma ogival. A sota, en un petit planell, gairebé a frec del castell, hi ha l’antiga església parroquial de Sant Pere de Boixadors, que també havia rebut el nom de Santa Maria.
L’església de Sant Pere és un edifici que té una nau del segle XI, amb arcuacions llombardes al mur de migdia, on hi ha el portal romànic, i un cos central amb dues capelles per banda, fruit d’una ampliació realitzada al segle XIII, i una nau sobrealçada en aquest segon sector, obra segurament del segle XVII. En el curs de la reforma del segle XIII es va perdre l’absis, que fou reemplaçat per un presbiteri rectangular. A l’extrem del mur de ponent té un campanar d’espadanya i un portal tapiat al mur de tramuntana que la comunicava amb el castell. En la restauració dels anys 1971-73 se suprimiren les restes de la rectoria, que englobaven la part de llevant de l’església, i es posaren en relleu totes les peculiaritats constructives i el joc d’arcs interiors que donen una gràcia especial a aquesta edificació. Des del 1996 s’hi duen tasques d’excavació i restauració en tot el conjunt.