Format en el teatre, interpretà els seus primers papers cinematogràfics durant els anys 60. L’èxit li arribà amb The French Connection (1971) —Oscar i Globus d’Or al millor actor—, Scarecrow (1972) i The Conversation (1974).
Després protagonitzà, entre d’altres, Night Moves (1975), Bite the Bullet (1975), Under Fire (1983), Hoosiers (1986), Mississippi Burning (1988), Another Woman (1988), Postcards from the Edge (1990), Class Action (1991), Unforgiven (1992) —Oscar i Globus d’Or al millor actor secundari—, The Firm (1993), Wyatt Earp (1994), Caimson Tide (1995), The Bird Cage (1996), Extreme Measures (1997), Absolute Power (1997), Twilight (1998), Enemy of the State (1998), Under Suspicion (2000), The Replacements (2000), Heartbreakers (2001), Heist (2001), The Royal Tenenbaums (2001) —Globus d’Or al millor actor en comèdia o musical—, Behind Enemy Lines (2001), Runaway Jury (2003) i Welcome to Mooseport (2004), entre d’altres. L’any 2003 fou guardonat amb el premi Cecil B. DeMille dels premis Globus d’Or en reconeixement a la seva carrera.
Retirat de la interpretació el 2004, es dedicà a escriure novel·les. Publicà Wake of the Perdido Star (1999), Justice for None (2004) i Escape from Andersonville (2008), conjuntament amb l’arqueòleg marí Daniel Lenihan, Old West titled Payback at Morning Peak (2011) i Pursuit (2013), un thriller policíac.