L’edifici, d’estil neoclàssic, fou construït el 1861 per ordre de Napoleó III per a practicar-hi el jeu de paume, un precedent del tennis i altres esports de raqueta actuals. Fou destinat a finalitats artístiques des del 1908 i vinculat, fins el 1922, al Musée du Louvre, del qual era un annex. A partir d’aquest any l’edifici exposà principalment l’obra d’artistes estrangers. Durant l’ocupació nazi a la Segona Guerra Mundial fou utilitzat com a dipòsit de les obres confiscades a col·leccionistes jueus. Posteriorment hi foren instal·lades, per iniciativa de René Huyghe, les col·leccions estatals d’impressionistes i postimpressionistes, i esdevingué el principal museu mundial d’aquest tema (1947-86). Aquestes col·leccions passaren al Musée d’Orsay. Reobrí el 1991 amb el nom de Galerie Nationale du Jeu de Paume, orientat a exposicions temporals d’art contemporani i, des del 2004, dedicat a la imatge dels segles XX i XXI, molt especialment a la fotografia.