Estudià amb C.F.C. Fasch a partir del 1784. El 1800 es posà al capdavant de la Berliner Sing-Akademie, formació que es mostrà sensible a la recuperació del repertori de música coral del Barroc tardà d’autors com G.F. Händel i de J.S. Bach, de qui redescobrí la Passió segons sant Mateu. A banda de fundar nombroses institucions dedicades a la pedagogia i interpretació musicals, Zelter tingué il·lustres deixebles com F. Mendelssohn, a qui probablement inculcà l’interès per l’oratori i la figura de J.S. Bach. Compongué més de 200 lieder, molts dels quals sobre textos de J.W. Goethe, mostra de la profunda amistat que hi hagué entre ambdós artistes i que testimonia una ingent correspondència epistolar. Autor d’un extensíssim catàleg de música religiosa, també publicà tractats pedagògics i articles apareguts en diferents publicacions musicals periòdiques.