Estudià a Leipzig i a París, i esdevingué un virtuós del violí. Feu gires de concerts per Europa, amb una destacada actuació a Londres el 1866, i els EUA. Durant una gira americana conegué la soprano Euphrosyne Parepa, amb qui es casà el 1867, i aquell mateix any crearen la companyia Parepa-Rosa, en la qual ella era solista principal, i ell, director i empresari. Aquesta agrupació tingué molt èxit als EUA, on mantingué l’activitat fins el 1871. Dos anys més tard marxaren a Londres, on Euphrosyne morí al cap de poc temps. Rosa fundà el 1875 la Carl Rosa Opera Company, al teatre Princess de Londres. Del 1883 al 1888 estigué associat a A. Harris, del teatre Drury Lane, i les seves produccions tingueren una acollida excepcional. El 1893 la companyia passà a tenir el títol de Reial. Es dissolgué a mitjan segle XX.