Inicià els seus estudis a Varsòvia i el 1895 es traslladà a Berlín, on es formà amb H. Urban. El 1900 retornà a Varsòvia i es convertí en un element dinamitzador important de la vida musical a la capital polonesa. Dirigí la Societat Filharmònica i també la Societat de Música de Varsòvia. S’interessà per l’obra de F. Chopin, sobre el qual reuní abundant documentació. A més, estudià direcció d’orquestra amb el director hongarès A. Nikisch. Entre les seves obres, inserides de ple en el nacionalisme musical, destaquen diverses composicions orquestrals, com els poemes simfònics Les onades que tornen (1907), Cants eterns (1908) i Rapsòdia lituana (1909), obres en què es veu la influència de R. Wagner -del qual era un gran admirador- i del llenguatge orquestral de R. Strauss. També és notable el seu Concert per a violí. Karlowicz fou un dels millors orquestradors del seu temps, i un home proper a les idees del grup d’artistes que es feia anomenar Jove Polònia, moviment artístic del Romanticisme tardà d’ideologia nacionalista. Morí en una allau de neu.