Dotat d’una expressió inquietant, interpretà moltes pel·lícules com a secundari, palesant una excel·lent vena dramàtica. A partir de The Godfather (1972), de F.F. Coppola, començà una cursa ascendent en què arribà a ser protagonista d’alguns films.
Algunes de les seves pel·lícules més destacades són Captain Newman (1963), The Detective (1968), Joe Kidd (1972), The Godfather, part II (1974), Apocalypse now (1979, premi BAFTA i Globus d’Or al millor actor de repartiment), True Confessions (1981), Tender Mercies (1983, Globus d’Or i premi Oscar al millor actor), Hotel Colonial (1987), Rambling Rose (1991), The Paper (1994), A Scarlett Letter (1995), The Gingerbread Man (1998), Deep Impact (1998), A Civil Action (1998, premi del Sindicat d’Actors i Globus d’Or al millor actor de repartiment), Gone in Sixty Seconds (2000), The 6th Day (2000), John Q (2002), Open Range (2003), Gods and Generals (2003), Seconhand Lions (2003), Kicking and Screaming (2005), Crazy Heart (2009) i The Judge (2014, Globus d’Or al millor actor de repartiment). Posteriorment participà In Dubious Battle (2016), Garra (2022) i The Pale Blue Eye (2022).
També protagonitzà el telefilm Stalin (1992, Globus d’Or al millor actor) i les minisèries de televisió del gènere western Lonesome Dove (1989, Globus d’Or al millor actor), Broken Trail (2006, Emmy al millor actor i Globus d’Or al millor actor). Dirigí i protagonitzà The Apostle (1997) i Assassination Tango (2002).