Adquirí la seva formació musical a Mannheim, i rebé lliçons de G.J. Vogler. Després seguí una vida atzarosa com a director de bandes militars, fins que fou fet presoner en la guerra napoleònica. Deixà l’exèrcit després de la batalla de Waterloo, i el 1815 ingressà en l’orquestra del duc Guillem de Nassau com a director. D’ençà d’aquest moment la seva vida feu un nou tomb: convertí l’orquestra del duc en una de les millors de l’època i començà una important carrera com a concertista per Alemanya, Suïssa i Bèlgica. Conegué l’obra de L. van Beethoven, que influí notablement en les seves composicions per a piano, com també en el seu repertori cambrístic. Els set darrers anys de la seva vida. Rummel exercí com a director de l’orquestra del teatre de Wiesbaden, on reeixí en la preparació del nou repertori operístic de D.F.E. Auber i G. Meyerbeer.