Es formà a Neuchâtel amb el seu pare, el baríton Carl Rehfuss, i amb la seva mare, la contralt Florentine Rehfuss Peichert. El 1938 debutà al teatre municipal de Bienne-Soleure i dos anys més tard passà a l’Òpera de Zuric, on actuà fins el 1952 i on interpretà més de vuitanta papers. A partir del 1952 fou convidat a teatres operístics d’arreu d’Europa i es presentà amb èxit a París, Milà, Viena, Munic, Montecarlo, Barcelona, Edimburg, Venècia i Florència. El 1961 estrenà al Teatro La Fenice Intolleranza 60, de L. Nono. Destacà especialment en els papers de Don Giovanni (W.A. Mozart), Boris Godunov (M. Musorgskij) i Golaud (Pelléas et Mélisande, de C. Debussy). Un cop retirat dels escenaris, es dedicà a la docència i fou professor de cant a Dartington, Darmstadt i Rochester.