La biblioteca consta de 80.000 volums i està especialitzada en història de l’art, sense menystenir la bibliografia comarcal, de la qual és una bona dipositària. El convent fou fundat a mitjan s. xiv i funcionà com a tal fins que, al s. XIX, la comunitat es veié afectada per la Llei de Desamortització. Després de seguir nombrosos tràmits legals, la família Rocabertí aconseguí incloure el convent dins les seves propietats. Fou així com cap al 1876 començaren les obres de restauració del conjunt monumental, amb la consegüent annexió del convent al castell. Es considera que la biblioteca ja era constituïda l’any 1888, una vegada s’hi hagueren traslladat els fons bibliogràfics i documentals recopilats pels diferents membres de la nissaga, és a dir, l’arxiu familiar, bàsics per a l’estudi de la història de la comarca, i que avui és a Mallorca. Morts els dos germans de la nissaga Rocabertí, Antoni (1830? – 1885) i Tomàs (1840 – 1898), n’heretaren la propietat i els títols nobiliaris, primer, la seva germana Joana Adelaida i, a la seva mort, l’any 1899, uns familiars mallorquins, els Trullols, que empesos per les dificultats econòmiques i de desplaçament prengueren la decisió de vendre’s tot el conjunt monumental. Fou així com, l’any 1923, Miquel Mateu n’esdevingué el nou propietari.
Mateu continuà amb la restauració, n’amplià les col·leccions pictòriques, ennoblí les estances del castell amb mobiliari adient, inicià noves col·leccions artístiques, com les que avui constitueixen el Museu del Vidre, el Museu del Vi i el Museu del Ferro, i, entre altres actuacions, amplià la biblioteca dels comtes, que en el moment de la compra devia tenir uns 20.000 volums i que l’any de la seva mort, el 1972, disposava de 70.000 volums. Actualment la biblioteca està dirigida per la seva filla, Carme Mateu.
Miquel Mateu fou un dels bibliòfils catalans més destacats. S’interessà sobretot per reunir llibres d’història, literatura, incunables (195), edicions de bibliòfil i manuscrits (1.300), 800 dels quals són executòries de noblesa, i aplegà també una rica bibliografia de temes gironins i empordanesos. Tot i així, la col·lecció més apreciada per Mateu era la cervantina –que no s’incorporà a la biblioteca fins després de la seva mort–, de la qual recopilà fins a 5.000 volums, i que incloïa tant obres escrites per Cervantes com llibres sobre l’autor castellà.
La biblioteca també té una secció anomenada l’infern on es troben dipositats els llibres prohibits, alguns pel seu caràcter eròtic i d’altres pel fet de ser considerats perjudicials per a la moral cristiana. La biblioteca fou ampliada amb un arxiu creat per Miquel Mateu, constituït a partir de la recuperació de documents peraladencs (tasca que en part cal agrair a la tenacitat de l’historiador Miquel Golobardes) i d’adquisicions a llibreters d’antiquari i particulars, amb documentació heterogènia des del s. IX fins a l’actualitat. Després de la mort de Mateu, la biblioteca s’amplià amb la incorporació del seu arxiu particular.