Abans de començar la seva carrera com a actor de cinema, interpretà nombroses obres de teatre, algunes a Broadway, i també petits papers en sèries de televisió. De físic idoni per representar personatges d’home del carrer, començà a brillar com a actor de repartiment als anys noranta, en pel·lícules com Private Parts (1997), My Best Friend’s Wedding (1997), Deconstructing Harry (1997), The Truman Show (1998), Saving Private Ryan (1998) o The Planet of the Apes (2001). Més endavant, alternant el cinema independent amb les grans produccions de Hollywood, ha protagonitzat, entre d’altres, American Splendor (2003), Sideways (2003, per la qual guanyà un Globus d’Or), Cinderella Man (2005, per la qual fou guardonat amb un Oscar), The Illusionist (2006), Lady in the Water (2006), Barney's Version (2010, per la qual rebé un altre Globus d’Or), Win Win (2011) i Ironclad (2011). Ha protagonitzat la minisèrie de televisió John Adams (2008), que li valgué un nou Globus d’Or.