Estudià clavicèmbal i flauta de bec, i després amplià la seva formació amb la carrera de musicologia, que realitzà a Viena i a París. S’especialitzà ben aviat en música antiga, àmbit en què desenvolupà una tasca tant d’instrumentista com de col·leccionista. El 1958 fundà el grup Musica Antiqua, que un any després passà a denominar-se Conjunt de Música Antiga. Paral·lelament inicià la seva tasca docent a la Musikhochschule de Viena i el 1969 fundà el Clemencic Consort, amb qui treballà intensament el repertori medieval, renaixentista i del primer Barroc, dedicat especialment a la música vocal. Amb aquesta formació dugué a terme diversos enregistraments que foren un punt de referència, com la versió original dels Carmina Burana, editats per Harmonia Mundi.
Publicà diverses monografies i feu la banda sonora del film Molière, d’A. Mnouchkine (1978), tot i que com a compositor centrà el seu interès en música escrita per a conjunts de cambra amb flauta de bec solista. Fou distingit amb diversos premis, com l’Edison Award o el Premi de la Música de la Ciutat de Viena (1997).