S’inicià en la música durant la infància amb el clarinet, l’acordió i el piano. Estudià música al conservatori de Viena i tocà amb algunes de les principals orquestres de ball austríaques. L’any 1959 s’establí als Estats Units i aviat impressionà molts músics i començà a treballar d’acompanyant de diversos artistes, entre els quals Maynard Ferguson i Dina Washington. També tocà amb Cannonball Adderley, amb qui enregistrà diversos discs (1961-70) i compongué el seu gran èxit Mercy, Mercy, Mercy, i amb Miles Davis, tot aportant la seva composició In a Silent Way (1969).
L’any 1970 fundà amb Wayne Shorter el grup Weather Report, que codirigí fins el 1986, i que representa una fita de l’anomenat jazz-rock o fusion. El 1986 feu una gira en solitari i el 1988 fundà el grup The Zawinul Syndicate, grup amb el qual continuà la seva línia experimental, molt marcada per l’ús del sintetitzador. En 1987-94 col·laborà també amb Friedrich Gulda. Encara a una edat avançada continuà publicant treballs de jazz atrevits i innovadors, com ara Face & Places (2002), que li valgueren l’aplaudiment de la crítica i el títol d’“avi del jazz modern”.