Estudià a Detmold i debutà el 1949 a Kassel. El 1960 cantà al Festival de Salzburg i el 1961 fou contractat com a membre de la Deutsche Oper de Berlín. Posterioment cantà a Hamburg i Viena i entre el 1971 i el 1986 actuà sovint al Festival de Bayreuth. Especialitzat en l’òpera del segle XX, es distingí especialment en obres com Moses und Aron i Lulu, que interpretà al Gran Teatre del Liceu el 1985 i el 1987, respectivament. El 1980 cantà al Metropolitan de Nova York com a Dr. Schön (Lulu). Ocasionalment, també interpretà papers en òperes de G. Puccini (Tosca) i L. van Beethoven (Leonora). Fou aclamat pel públic i la crítica, tant pels seus dots musicals com per les seves capacitats dramàtiques. Franz Mazura va ser nomenat Kammersänger el 1980 i membre d'honor del Nationaltheater de Mannheim el 1990.