Fou educat per la seva tia paterna Olga Gäddä, de qui adoptà el cognom canviant-ne la grafia, i el seu marit Mikhail Ustinov (ambdós pares adoptius d’origen rus). Estudià a la seva ciutat natal, primer amb el seu pare i després al conservatori amb C.M. Oehmann. Traslladat a Leipzig, formà part d’un quartet infantil a l’Orquestra Russa Ortodoxa d’aquella ciutat. Debutà a Estocolm (1952) en el paper de Chapelon a Le postillon de Longjumeau, d’Adolphe Adam. Es distingí aviat com a tenor líric dotat amb una veu de gran flexibilitat. Promogut per Herbert von Karajan, fou un cantant assidu de l’Opéra de París, el Covent Garden de Londres i el Metropolitan de Nova York. El compositor nord-americà Samuel Barber compongué per a ell el personatge Anatol de l’òpera Vanessa, que estrenà el 1958. En el seu repertori, excepcionalment ampli, predominen òperes mozartianes i franceses. Enregistrà més de 200 discs. Actiu després dels setanta anys, mostrà una longevitat artística poc habitual. És autor de la biografia Gåvan är inte gratis (‘El do no és de franc’, 1978).