Estudià violí i orgue i, entre el 1739 i el 1741, composició amb Johann Sebastian Bach a Leipzig. Ocupà diversos llocs com a instrumentista i professor fins el 1751, any en què ingressà a la capella reial de Berlín com a violinista. L’any 1754 passà a la del príncep Heinrich de Prússia, i del 1758 fins a la seva mort serví com a mestre de capella de la princesa Anna Amàlia. Gaudí de molta fama com a ensenyant. Entre els seus deixebles destacaren C.P.E. Bach i J.A.P. Schulz. La seva gran contribució a la teoria musical foren els quatre volums del tractat Die Kunst des reinen Satzes in der Musik ('L’art de la perfecta composició en la música'), publicats a Berlín i Königsberg entre els anys 1771 i 1779. Les seves idees musicals foren força conservadores. Durant tota la seva vida manifestà una gran admiració pels procediments musicals practicats per J.S. Bach, i també per la seva figura. És autor, a més, de música religiosa i instrumental.