D’una família d’immigrants italians, el 1935 s’incorporà a la marina, en la qual serví durant deu anys. Reincorporat a la vida civil, després d’un temps dedicat a feines diverses, ingressà en una escola d’art dramàtic i, acabats els estudis, durant quatre anys fou actor d’una companyia teatral de Virginia, on interpretà papers molt diversos.
L’any 1949 debutà a Broadway, i el 1951 es traslladà a Hollywood. Aquest any hi aconseguí el primer paper cinematogràfic en The Whistle at Eaton Falls, de Robert Siodmak. Especialitzat en papers de secundari en els quals interpretà sobretot personatges “dolents” o “durs”, l’any 1953 es projectà amb From Here to Eternity, de Fred Zinnemann. S'apartà d’aquesta mena de papers a Marty (1955), de Delbert Mann, pel·lícula que protagonitzà i amb la qual aconseguí l’Oscar. Bé que es mantingué professionalment actiu tota la seva vida, el punt àlgid de la seva carrera se situa a la dècada dels anys setanta.
Altres films en què tingué actuacions destacades foren Johnny Guitar (1954), de Nicholas Ray, The Catered Affair (1956), de Richard Brooks, Three Brave Men (1956), de Philip Dunne, The Dirty Dozen (1967), de Robert Aldrich, Ice Station Zebra (1968), de John Sturges, The Wild Bunch (1969), de Sam Peckinpah, The Poseidon Adventure (1972), de Ronald Neame, The Revengers (1972), de Daniel Mann, Emperor of the North Pole (1973) i Hustle (1975), de Robert Aldrich, Shoot (1976), de Harvey Hart, The Greatest (1977), de Tom Gries i Monte Hellman i Crossed Swords (1977), de Richard Fleischer, entre d’altres. Fou també una presència habitual en telefilms i sèries de televisió, entre els quals destaquen McHale's Navy (1962-66), Airwolf (1984-86) i The Single Guy (1995-97).