Fill de Jean-Féry Rebel, a tretze anys tocava en l’orquestra de l’Acadèmia Reial de Música i deu anys després obtingué el dret de successió per a ocupar el lloc que deixà vacant el seu pare als 24 Violons du Roi. Fou amic íntim del també violinista i compositor François Francoeur. El 1726 tocaren plegats al Concert Spirituel i estrenaren l’òpera Pirame et Thisbé, composta per tots dos. D’aquesta manera iniciaren una col·laboració que durà més de quaranta anys, al llarg dels quals escriviren nombroses obres escèniques. Ambdós compositors defensaren Rameau i l’estil francès durant la Querelle des Bouffons. Rebel exercí diversos càrrecs de responsabilitat en l’administració i la direcció dels espectacles reials. Així, per exemple, a partir del 1743 fou inspector adjunt de l’Òpera de París juntament amb Francoeur. Compongué també alguns motets i cantates.