De família jueva, el 1938 emigrà als Estats Units, on es naturalitzà el 1944. A Nova York continuà, a la Greenwich House of Music i a la Mannes School (on es graduà el 1942), els estudis iniciats a l’Acadèmia de Música de Viena. El 1941 començà a exercir de director substitut en diverses companyies d’òpera nord-americanes, i al cap de tres anys fou nomenat pianista repetidor a la New York City Opera. Debutà en aquesta companyia el mateix 1943, i en fou el director principal, donant-li una gran projecció, del 1956 al 1979. Posteriorment continuà dirigint —especialment òperes al Metropolitan Opera House de Nova York— i fou titular de la Filharmònica de Buffalo (1979-85). També excel·lí com a pianista acompanyant de grans figures del panorama operístic, i contribuí a impulsar-ne la carrera d’algunes, entre d’altres, Beverly Sills. Publicà l’autobiografia First and Lasting Impressions. Julius Rudel Looks Back on a Life in Music (2013).