De nen formà part del cor de l’església de la Santa Creu de la seva ciutat natal, i posteriorment anà a estudiar a Weimar (Turíngia). Format amb Rudolf Dietrich, debutà el 1949 a l’Òpera de Dresden en el paper de Cern’akovskij de Borís Godunov de Musorgskij. El director Hans Knappertsbusch li suggerí de canviar la seva tessitura de baix, i a partir d’aleshores sobresortí en papers de baix baríton, com els de Wotan, l’Holandès, Amfortas o Hans Sachs. A banda del repertori wagnerià (debutà a Bayreuth el 1952), destacà també en el de compositors com Mozart, Berg, Beethoven, Berio, Verdi, Musorgskij i Strauss. Des que el 1953 esdevingué membre de l’Òpera de Berlín, a més d’actuar en aquest teatre, sovintejà els coliseus operístics d’arreu del món, amb actuacions destacades al Covent Garden, a l’Òpera de Viena, als Festivals de Salzburg i a l’Òpera de Chicago, entre d’altres, i debutà al Metropolitan Opera House de Nova York el 1969. Entre les obres que estrenà cal esmentar l’òpera Un re in ascolto, de Luciano Berio (1984). La seva discografia és extensa i de gran diversitat estilística; en destaquen els registres de cantates de Bach i òperes de Wagner i Mozart pel ressò que han tingut entre crítica i públic. Es retirà el 2006 a Dresden en el paper de l’ermità de Der Freischütz (‘El caçador furtiu’), de Carl Maria von Weber.