Inicià la seva formació a Dresden amb C.F. Abel. Durant gran part de la seva vida s’ocupà de tasques vinculades a la seva vocació com a monjo cistercenc a Eberbach im Rheingau. En aquest monestir exercí funcions de director musical i compongué la major part de la seva producció religiosa, que consta de misses, un rèquiem i un tedèum. El 1771, la direcció del monestir decidí reduir despeses en l’apartat musical i, en veure disminuïdes les seves possibilitats, Schmitt deixà la vida monàstica i anà a Amsterdam, on esdevingué un personatge polifacètic que treballà indistintament en la pedagogia, la direcció, la composició i l’edició musical. En aquest darrer aspecte s’inicià amb la publicació de les seves pròpies composicions, però ben aviat el negoci editorial prosperà i l’estengué per altres països, tot difonent les obres dels grans mestres. El 1778 fou nomenat director de la Societat Felix Meritis, entitat musical capdavantera a la ciutat neerlandesa pel que fa a la promoció de concerts públics. És autor de gran quantitat de música orquestral, entre la qual cal destacar un bon nombre de simfonies que mostren clares influències estilístiques de l’Escola de Mannheim, i música de cambra diversa. També escriví obres didàctiques.