Malgrat l’oposició del seu pare, es formà en cant, piano, violí i violoncel al cor de Sant Esteve de Viena. Després d’una breu estada a Venècia, acceptà, probablement el 1730, la plaça de mestre de capella del comte Rottal de Holešov, a Moràvia. El 1737 es casà amb la cantant Rosalie Andreides i poc temps després el matrimoni es traslladà a Viena, on fou director musical del teatre de la cort. L’any 1744 anà a Itàlia, en un viatge que el dugué a Milà i a Venècia, i tornà a Viena el 1747. El 1751 succeí a G.A. Brescianello com a primer mestre de capella a la cort de Stuttgart. Durant vint-i-cinc anys (1753-78), i fins que la cort es traslladà a Munic, fou mestre de capella de la cort de Mannheim, on conegué J. Stamitz, i fou un dels caps de l’escola de Mannheim, com es trasllueix de la seva obra simfònica i de cambra. Durant aquest període intensificà la seva activitat, i fins i tot feu tres viatges a Itàlia: Roma (1756), Torí (1758) i Milà (1759). Treballà en unes dinou obres escèniques, entre d’altres Don Chisciotte (1755) i Adriano in Siria (1769). La més reeixida fou el singspiel Günther von Scwarzburg (1777). La producció d’obres sacres —misses, oratoris i altres peces— fou un dels seus segells distintius. Mozart, en una de les seves interpretacions a París l’any 1778, adaptà un miserere de Holzbauer. El seu catàleg inclou també simfonies, concerts i obres de cambra.