Infant prodigi, a tres anys començà a estudiar el violí i el piano. Emigrà als Estats Units de molt jove, on es naturalitzà el 1953, i fou alumne de la Juilliard School of Music de Nova York, ciutat on el 1961 fundà l’estudi de gravació A&R. Tingué un paper fonamental en el llançament de músics i cantants com Burt Bacharach, Ray Charles, Paul Simon, Aretha Franklin, Stevie Wonder, Paul McCartney, Elton John o Madonna, i recuperà per al gran públic intèrprets com Frank Sinatra o Tony Bennett.
Al llarg de la seva carrera les seves produccions obtingueren un total de 14 premis Grammy, entre els quals cal esmentar els àlbums Getz/Gilberto (1965), que introduí la bossa nova; 52nd Street (1980), de Billy Joel (primer àlbum comercial en CD el 1982); Still Crazy After All These Years (1976), de Paul Simon, i Genius Loves Company (2005), de Ray Charles, a més de les bandes sonores del musical de Broadway Promises, Promises (1970) i de la pel·lícula Flashdance (1984).