Estudià orgue amb el seu pare, Bénigne Balbastre, organista de Saint-Medard, a Dijon. L’any 1750 es traslladà a París per estudiar-hi composició amb Claude Rameau, germà del famós compositor i teòric francès Jean-Philippe Rameau, i obtingué un gran èxit interpretant concerts per a orgue al Concert Spirituel. L’any 1760 esdevingué organista de la catedral de Notre-Dame. El 1776 fou nomenat organista del futur Lluís XVIII, càrrec que ocupà fins a la Revolució Francesa. Les seves composicions per a orgue són de caràcter variat, i van des de les composicions primerenques, que contenen títols descriptius a la manera de F. Couperin i Rameau, fins a les sonates escrites en estil galant, en la línia d’Alessandro Scarlatti. Algunes de les millors composicions per a orgue formen part de l’obra titulada Quatours (1779), una col·lecció de sonates per a dos violins, violoncel i orgue. Les obres més populars del compositor són els noëls en variations, unes peces que interpretava cada any durant la missa del gall a l’església de Saint-Roch.