L’església de Sant Martí existia ja el 898 i tenia sacerdot propi. El cabiscol Ponç la féu reedificar abans del 1064, i s’hi treballava encara el 1078, quan el seu hereu Joan féu deixes per cobrir-la. El 1101 el comte Ramon Berenguer III la rebé sota la seva protecció, i el 1118 Berenguer Amat l’encomanà al bisbe de Girona. El 1152 Guillem, prevere de Sant Martí i arxilevita de Besalú, la cedí a l’abat Ponç de Monells, de Sant Joan de les Abadesses, perquè hi instituís un prior i una comunitat de canonges. La fundació, però, no es féu fins el 1164, que s’hi instal·là una comunitat, presidida per Arnau de Montbós, antic canonge de Lledó, amb consentiment del bisbe i canonges de Girona. El papa Alexandre III confirmà la fundació amb una butlla del 1166. Segons unes noves constitucions, fetes pel prepòsit Pere el 1229, es fixà en cinc el nombre de canonges, més un clergue secular per a la cura d’ànimes i un diaca, tots sota l’obediència del prepòsit. Els canonges havien de tenir en entrar trenta anys i passar un any de provació. Entre el 1225 i el 1340 la comunitat tingué llargues discussions amb els dominicans, establerts prop de Sant Martí. Al s XV caigué a les mans de comendataris i s’accentuà la decadència, iniciada la segona meitat del segle anterior. El papa Gregori XIII dissolgué la canònica el 1581 i donà l’edifici als jesuïtes, que ampliaren l’església i hi construïren una bona part del casal actual. Expulsats els jesuïtes el 1767, s’hi instal·là el seminari conciliar, que amplià encara més l’edificació per adaptar-la a les necessitats de la institució, gràcies als bisbes Tomás de Lorenzana-Butrón (1775-96) i Florencio Lorente (1847-62), que el dotaren d’una notable biblioteca, de noves càtedres per adaptar-les als graus universitaris i d’un gabinet de física i d’història natural.