Fill d’un pintor alemany establert a Holanda, fou deixeble de P.-N. Guérin a París (1911). Malgrat les dures crítiques que el seu Romanticisme eclèctic rebé —entre elles les de Baudelaire—, tingué una gran fama com a protegit de Lluís Felip. El seu germà Henri Scheffer (la Haia 1798 — París 1862) fou mestre de Puvis de Chavannes.