Es formà amb el seu pare, Joseph Rampal, que era professor del Conservatori de Marsella. Més tard amplià els seus estudis al Conservatori de París, on es diplomà l’any 1944. Abans de la Segona Guerra Mundial feu ja alguna actuació i el 1942 cofundà el Quintet de Vent de París. Del 1947 al 1951 fou membre de l’orquestra de l’Òpera de Vichy, i a partir del 1955, flauta solista de l’orquestra de l’Òpera de París. El 1958 començà a impartir classes a l’Acadèmia International d’Estiu de Niça, i des del 1969, al Conservatori de París. Feu concerts arreu del món, i actuà nombroses vegades a Catalunya, sovint al costat del seu deixeble, Claudi Arimany. Dirigí també moltes orquestres, com l’Orquestra Nacional de França i les orquestres simfòniques de San Francisco, Saint Louis i Pittsburgh. Rebé algunes de les distincions més importants de França, com ara la de comandant de la Legió d’Honor i comandant de l’Orde de les Arts i les Lletres. L’Ajuntament de París instituí l’any 1980 un concurs de flauta que porta el seu nom. Enregistrà més de 300 discos, amb un repertori molt ampli, que va des de J.S. Bach fins a obres de jazz. És considerat un dels flautistes més importants del segle XX.