Fill d’emigrants jueus de Polònia i Romania, als dinou anys debutà en el teatre interpretant obres de Billetdoux i també en petits papers cinematogràfics, entre els quals Les bonnes femmes, de Claude Chabrol (1960). El 1962 dirigí el seu primer film, el curt Le poulet, amb el qual guanyà un Oscar.
Posteriorment dirigí una vintena llarga de pel·lícules, part de les quals d’un acusat to autobiogràfic, generalment a partir de les seves experiències durant la Segona Guerra Mundial: Le vieil homme et l’enfant (1966, premiada al Festival de Berlín el 1967), Mazel Tov ou le mariage (1969), Le cinéma de papa (1970), Le pistonné (1970), La première fois (1976) i Lucie Aubrac (1979). De la resta dels seus films sobresurten les adaptacions de les novel·les de Marcel Pagnol Manon des sources (en dues parts, Jean de Florette i Manon des Sources, 1986), de Marcel Aymé Uranus (1990), i d’Émile Zola, Germinal (1993). Altres films són Sex-Shop (1972), Le mâle du siècle (1975), Un moment d’égarement (1977) i La graine et le mulet (2007, premi César al millor film francès). Paral·lelament, continuà actuant amb una certa freqüència. Fou també un productor destacat, entre d’altres, de films de Roman Polański i Patrice Chéreau.
El 2003 fou nomenat president de la Cinémathèque Française, que modernitzà a fons. Morí durant el rodatge de Trésor.