Conegut popularment com a Mateuet, estudià amb F. Queralt, mestre de capella de la catedral de Barcelona, i amb C. Baguer, a qui succeí des del 1808 com a organista de la seu, càrrec que mantingué fins la seva mort. A partir del 1827 fou director del Teatre de la Santa Creu, en substitució de Ramon Carnicer, i des del 1830, mestre de capella de la seu barcelonina. Ferrer tenia uns grans dots com a organista, especialment improvisant-hi fugues, i la seva fama s’estengué més enllà de Catalunya. Casa seva fou un lloc de trobada per a alguns dels compositors catalans més notables, com ara B.S. Saldoni, R. Vilanova, N. Manent, J. Carreras, F. Porcell i G. Balart. Compongué nombroses obres de tipus religiós destinades a les cerimònies de la catedral, com per exemple misses, motets, lletanies, himnes i càntics. També compongué un oratori titulat Nabucodonosor, que s’estrenà a l’església de Sant Felip Neri, i fragments operístics per a ser interpretats al Teatre de la Santa Creu. Fou una figura molt destacada i estimada en el seu temps, i a la seva mort, que constituí un motiu de dol a tot Barcelona, se celebrà un funeral multitudinari a Santa Maria del Mar.