Estudià violí amb el seu pare, Karl Hubay. A onze anys debutà amb un concert de G.B. Viotti, i dos anys després fou enviat a la Berlin Hochschule für Musik, on estudià amb J. Joachim fins el 1876. Feu concerts per tot Europa com a solista i com a component del Quartet Hubay. Fou professor de violí del Conservatori de Brussel·les en 1882-86 i de l’Acadèmia de Budapest, la qual dirigí entre el 1919 i el 1937 i on entrà en conflicte, a causa del seu conservadorisme, amb B. Bartók. Tingué com a alumnes J. Szigeti i A. d’Ara nyi. El 1907 fou nomenat cavaller, i el 1913 doctor honorari, de la Universitat de Kolozsvár. Entre les seves composicions destaquen les òperes (A Cremonai hegedüs, 1894) i la música instrumental (4 simfonies, 4 concerts per a violí, etc.).