Fou iniciat en la música pel seu pare, Christian Friedrich Rolle, director musical de la ciutat de Magdeburg. Johann Heinrich fou organista a Magdeburg i el 1742 anà a Berlín per formar part de l’orquestra de la cort prussiana de Frederic II el Gran, primer com a violinista i després com a violista. El 1747 decidí retornar a Magdeburg per treballar-hi novament com a organista i, el 1751, en morir el seu pare, ocupà el lloc de director musical. Compongué un gran nombre d’oratoris de contingut bíblic, com Tod Abels (1769) i Abraham auf Moria (1776), que mostren la influència que exerciren sobre la seva obra els compositors de l’escola berlinesa com K.H. Graun. Aquestes obres, de forma molt variable, constitueixen, de fet una mixtura entre l’òpera i l’oratori, amb el cor com a element de gran importància dramàtica i la música posada al servei de les exigències expressives del text. També compongué cantates, motets, cançons i obres instrumentals diverses. El 1764 creà a Magdeburg el que fou el segon cicle estable de concerts públics a Alemanya, després dels de la Gewandhaus de Leipzig.