Rebé les primeres classes de música a Oelsnitz. El 1640 es matriculà a la facultat de teologia de la Universitat de Leipzig, ciutat on, a més, continuà els estudis musicals amb el compositor Tobias Michael, kantor de l’església de Sant Tomàs. El 1651 fou nomenat organista de l’església de Sant Nicolau. La seva prometedora carrera es veié interrompuda el 1655 quan, juntament amb alguns alumnes seus, fou acusat d’homosexual. Fou empresonat, però s’escapà. Actuà com a trombonista a Sant Marc de Venècia en 1658-60 i posteriorment, a la mateixa ciutat, tingué com a alumne de composició Johann Philipp Krieger (1673-74) i ocupà el càrrec de compositor de l’Ospedale della Pietà (1678-82). L’any 1667, el duc Johann Friedrich, de la família BrunsvicLüneburg, visità Venècia, i Rosenmüller li dedicà la seva primera col·lecció de sonates. Anton Ulrich, l’oncle del duc, també visità Venècia més endavant i és possible que s’emportés Rosenmüller a Alemanya. El compositor li dedicà el volum de sonates del 1682 i ocupà el càrrec de mestre de capella de la cort d’Anton Ulrich, a Wolfenbüttel.
Fou un compositor prolífic, sobretot de música sacra. Entre el 1645 i el 1682 publicà quatre col·leccions de música instrumental, que comprenen des de les simples suites per a dansa -incloses en els seus Paduanen, Alemanden, Couranten, Balletten, Sarabanden (1645) i Studenten-Music ('Música d’estudiants', 1654)- fins a les sonates per a conjunt instrumental en estil italià, especialment influïdes per G. Legrenzi. Algunes d’elles contenen tres o cinc moviments principals, un dels quals sovint es repeteix al final. Molts d’aquests moviments presenten una escriptura en estil fugat amb predomini del cromatisme en la confecció dels seus temes. Les seccions de transició són lentes i dramàtiques, amb passatges homofònics que destaquen per les seves troballes harmòniques. Amb molt poques excepcions, tota la música vocal de Rosenmüller és religiosa. Escriví concerts sacres, cançons fúnebres, salms, magníficats i lamentacions, tant en llatí com en alemany. Les seves cançons fúnebres consten d’himnes estròfics i homofònics compostos a cappella. El més famós de tots ells, Welt ade, ich bin dein müde ('Adéu, món, soc la teva fatiga', 1649), fou utilitzat per J.S. Bach en la seva cantata núm. 27. Les col·leccions de petits concerts sacres titulades Kern-Sprüche mehrentheils aus heiliger Schrifft Altes und Neues Testaments ('Sentències de diversos fragments de la Sagrada Escriptura de l’Antic i del Nou Testament', 1648) i Andere Kern-Sprüche ('Altres fragments de la Sagrada Escriptura', 1652-53) estan compostes en l’estil de les Symphoniae Sacrae de H. Schütz. Les seves cantates segueixen el model de G. Carissimi i A. Cesti i prepararen el camí per a l’eclosió de la cantata sacra alemanya. Malgrat que passà gran part de la seva vida a Itàlia, Rosenmüller gaudí d’un gran prestigi al seu país, on fou considerat un compositor rellevant i una figura clau en la transmissió de l’estil italià al nord d’Alemanya.
2 col·leccions de concerts sacres (Kern-Sprüche mehrentheils aus heiliger Schrifft Altes und Neues Testaments, ’Sentències de diversos fragments de la Sagrada Escriptura de l’Antic i del Nou Testament', publ. 1648; Andere Kern-Sprüche, ’Altres fragments de la Sagrada Escriptura', publ. 1652-53); 8 cançons fúnebres a 5 v. publicades separadament (entre les quals: Welt ade, ich bin dein müde, ’Adeu, món, soc la teva fatiga', publ. 1649; Alle Menschen müssen sterben, ’Tothom ha de morir', publ. 1652); 53 versions de salms complets en llatí conservades en manuscrits; diverses obres en alemany conservades en manuscrits (entre les quals: les 2 primeres versions de salms complets; nombrosos concerts sacres); música per a la missa conservada en manuscrits (entre la qual: 1 credo a 8 v., 2 instr. de c., b.c.; 1 magníficat a 8 v., 5 instr. de c., metall, b.c.; 1 magníficat a 5 v., 5 instr. de c., b.c.; 1 missa a 4 v., b.c.; 1 missa brevis a 5 v., 5 instr. de c., b.c.; lamentacions de Jeremies a 1 v., b.c.; 1 Gloria in excelsis a 8 v., 3 instr. de c., metall, b.c.; 1 Dies irae a 8 v., 6 instr. de c., b.c.); cantates a 1 v., 5 instr., b.c.
Paduanen, Alemanden, Couranten, Balletten, Sarabanden, a 3, b.c. ('Paduanes, alemandes, corrandes, ballets, sarabandes', publ. 1645); Studenten-Music, a 3, 5 instr. de c., b.c. ('Música d’estudiants', publ. 1654); Sonate da camera, conjunt instr., b.c. (publ. 1667); Sonate, conjunt instr., b.c. (publ. 1682); altres obres com danses, cànons o sonates, conservades en fonts manuscrites