Estudià orgue i clavicèmbal amb Eduard Müller a la Schola Cantorum Basiliensis i, més tard, a l’Acadèmia de Música de Viena, on es diplomà en orgue i clavicèmbal. La seva carrera concertística començà a la capital austríaca el 1950, on es presentà com a intèrpret de L’art de la fuga, de J.S. Bach. Fou professor de l’Acadèmia de Música de Viena (1952) i el 1954 fou nomenat professor del Conservatori d’Amsterdam i organista titular de la Waalse Kerk d’aquesta ciutat.
Intèrpret historicista de la música dels segles XVII i XVIII, el 1955 fundà el Leonhardt Consort, que dirigí i que fou una de les principals formacions responsables del redescobriment de la música barroca a partir dels anys seixanta. Fou doctor honoris causa per les universitats de Dallas, Amsterdam i Harvard. Fou professor a la Universitat de Harvard (1969) i de l’Acadèmia Musical Chigiana de Siena.
Col·laborà sovint amb altres intèrprets del Barroc com Nikolaus Harnoncourt, Philippe Herreweghe, René Jacobs i els germans Kuijken. Johann Sebastian Bach és el protagonista de la seva amplíssima discografia, que inclou dues edicions de les Variacions Goldberg i l’enregistrament de les cantates d’església d’aquest autor en col·laboració amb el Concentus Musicus de Viena, dirigit per Nicolaus Harnoncourt al llarg de dues dècades des del 1971. Com a clavecinista enregistrà també El clavicèmbal ben temprat, les Suites franceses i les Suites angleses. La seva discografia inclou, a més, moltes obres del Barroc francès d’autors com F. Couperin i òperes d’A. Campra i J.Ph. Rameau.
Com a musicòleg publicà un estudi sobre L’art de la fuga de J.S. Bach i tingué cura de la publicació per a la Universal Edition d’una sèrie de música de cambra del segle XVII. Dirigí també l’edició de l’obra completa cembaloorganística de J.P. Sweelinck. L’any 1968 interpretà el paper de J.S. Bach en el film de J.M.Straub, Chronik der Anna-Magdalena Bach (1967).