Actor de teatre des del 1948 i de cinema des del 1955. Guanyà un Oscar per The Fortune Cookie (1966), de B. Wilder. Formant una parella còmica amb Jack Lemmon, interpretà The Odd Couple (1968), de G. Sacks, The Front Page (1974), també de B. Wilder, Grumpy old Men (1993), de D. Petrie, etc. Altres films seus són Pete'n Tillie (1972), de M. Ritt, Charley Warrick (1973), de D. Siegel, Pirates (1986), de R. Polanski, Hanging up (2000), de D. Keaton, etc. El 1960 realitzà el film Gangster Story.