Emigrà de molt petit als Estats Units, on inicià la seva formació musical amb el seu pare, Lajos Serly. Posteriorment es traslladà a Budapest i estudià a l’Acadèmia de Música Ferenc Liszt (1922-24), on fou alumne de B. Bartók, Z. Kodály i J. Hubay. De retorn als Estats Units, treballà com a violista en diferents formacions orquestrals. Assolí la fama per haver acabat la composició del tercer concert per a piano i orquestra i el Concert per a viola del seu amic Bartók.