Al mateix temps que estudiava dret, es formà musicalment de manera autodidàctica. Un cop completats els seus estudis, s’establí a Mannheim, on exercí d’advocat i fundà una escola de música. En aquesta ciutat, a més, conegué Carl Maria von Weber. A partir del 1814 visqué a Magúncia, on edità la revista "Cäcilia", des de la qual fou el primer que posà en dubte d’una manera fonamentada que la Missa de rèquiem de W.A. Mozart fos totalment obra del compositor de Salzburg. L’any 1818 s’instal·là a Darmstadt, on fou actiu com a músic i també com a jurista. La seva obra Versuch einer geordneten Theorie der Tonsetzkunst ('Assaig sobre una teoria ordenada de l’art de compondre', 1817-21) representà una aportació cabdal en la teoria musical a Alemanya. Exercí una gran influència fins a la primeria del segle XX. Com a pensador, Weber preferí no basar la teoria musical en grans principis fonamentals, sinó que era partidari de treure conclusions del que pot trobar-se en la realitat de la pràctica compositiva.