Germà del violoncel·lista Pierre Fournier. Fou alumne del Conservatori de Música de París, on guanyà un primer premi. Es perfeccionà amb George Enescu i Jacques Thibaud. Durant la dècada dels cinquanta formà part habitual d’un trio juntament amb Antonio Janigro i Paul Badura-Skoda.
A partir del 1962 començà a impartir classes al Mozarteum de Salzburg, i des del 1966 ho feu al Conservatori de Música de París. Reuní una col·lecció molt notable d’instruments antics i sovint fou membre de jurats de concursos internacionals.
Fou nomenat cavaller de la Legió d’Honor i contragué matrimoni amb la pianista Ginette Doyeu. Encara que actuà sovint com a solista, la música de cambra fou considerada la seva especialitat.