Nen prodigi del violí, començà a fer concerts pel Regne Unit, Dinamarca i Alemanya. Als disset anys ingressà al conservatori de Leipzig i posteriorment al de París i esdevingué un virtuós del violí. Feu gires de concerts per Europa, amb una exitosa actuació al Crystal Palace de Londres el 1866 i posteriorment pels EUA.
Durant la gira americana conegué la soprano escocesa Euphrosyne Parepa, amb qui es casà el 1867, i el 1869 crearen la Parepa Rosa English Opera Company, en la qual ella era solista principal, i ell, director musical i empresari. Aquesta agrupació tingué molt èxit als EUA, ja que representava les grans òperes italianes traduïdes a l’anglès.
Dos anys més tard marxaren a Londres i el 1873 crearen la Carl Rosa Opera Company, al Princess’s Theatre de Londres, amb el mateix objectiu d’arribar al gran públic. Però Euphrosyne morí l’any següent. Del 1883 al 1888 estigué associat a A. Harris, del teatre Drury Lane, i les seves produccions tingueren una acollida excepcional. El 1893 la companyia passà a tenir el títol de Reial. Es dissolgué cap al 1960 i molts dels seus elements passaren al Sadler’s Wells Theatre.
És considerat una figura fonamental en el desenvolupament de la tradició operística britànica de la segona meitat del segle XIX, per la seva tasca de difusió de l’òpera en llengua anglesa, per promocionar cantants nadius i impulsar els compositors i llibretistes britànics perquè escrivissin obres en anglès.