Fou deixeble de Heissler al Conservatori de Viena. El 1879 debutà a la Gewandhaus de Leipzig i dos anys després fou contractat com a primer violí de la Filharmònica de Viena, on romangué fins el 1938, any en què abandonà Àustria a conseqüència de l’annexió alemanya i fixà la seva residència a Londres. Amb el seu germà, el violoncel·lista Eduard Rosé, Julios Egghard i Anton Loh, el 1882 fundà el cèlebre Quartet Rosé, protagonista de gires de concerts arreu del món i d’alguns enregistraments discogràfics. Fou també violí concertino de l’orquestra del Festival de Bayreuth a partir del 1888. Exercí la docència a l’Acadèmia de Música de Viena (1893-1924). Era casat amb Justine, germana de Gustav Mahler. Fou el primer intèrpret de La nit transfigurada (1902) i dels dos primers quartets (1907 i 1908) d’A. Schönberg.