Inicià els estudis musicals amb el seu pare, el també compositor M.F. Cannabich, i els completà amb J. Stamitz. El 1744 ingressà com a alumne a l’orquestra de la cort de Mannheim, de la qual fou violinista des del 1747. Les seves excepcionals aptituds per a la música feren que, el 1750, l’elector de Mannheim li financés una estada a Itàlia per a perfeccionar la seva formació amb N. Jommelli, amb qui estudià a Roma durant tres anys. El 1754, després d’un breu sojorn a Stuttgart amb Jommelli, anà a Milà, on contactà amb G.B. Sammartini. El 1757 tornà a Mannheim, i un any després substituí J. Stamitz al capdavant de l’orquestra de la cort. Durant la dècada dels seixanta visità París en diverses ocasions. Allà aconseguí que la seva obra fos publicada i conegué W.A. Mozart, amb qui establí una sòlida amistat. El 1774 fou nomenat director de música instrumental, i des de llavors fins al 1778, any que la cort es traslladà a Munic, l’orquestra de la cort de Mannheim conegué el seu període més brillant.
Com a compositor, pot ser considerat membre de la Segona Escola de Mannheim, amb un estil a cavall entre el dels compositors de la Primera Escola i el classicisme de J. Haydn i W.A. Mozart. Cal destacar els seus magnífics ballets, en els quals queda reflectida la qualitat de la seva música simfònica (Elektra, 1781). Compongué també algunes òperes (Azakaia, 1778), i abundant música de cambra, simfonies i concerts. Fou l’introductor del clarinet com a instrument obligat de l’orquestra i promogué la instrumentació variada i la independència dels diferents grups d’instruments.