Considerat un nen prodigi, inicià estudis de piano, violí i composició. Als deu anys debutà com a intèrpret amb un concert de Mozart, i als dotze presentà la seva primera composició. Durant aquest període, establí contacte amb la família Mendelssohn, i Fèlix, que era dos anys més gran que ell, quedà impressionat pel jove músic. Aquesta amistat es mantingué al llarg dels anys i fou gràcies a la recomanació de F. Mendelssohn, que estudià del 1825 al 1827 amb J.N. Hummel, a qui acompanyà a Viena, on visitaren Beethoven al seu llit de mort.
A partir del 1828, i durant quasi set anys, visqué a París, ciutat en la qual el seu èxit com a professor d’orgue el feu mereixedor del sobrenom le savant Hiller. El 1837 se n’anà a Itàlia; a Roma fundà una coral i feu recerca en polifonia italiana antiga. Succeí a Mendelssohn com a director d’orquestra en la Gewandhaus a Leipzig (1842-43) i el 1844 treballà a Dresden, on gaudí de l’amistat dels Schumann. En aquesta època escriví les òperes Romilda (1839) i Konradin (1847), que fracassaren. El 1847 es traslladà a Düsseldorf, i del 1850 al 1884 treballà a Colònia com a mestre de capella i funda el Conservatori de Colònia, el 1840, que dirigí fins a la seva mort.
Tingué molta prominència entre els seus coetanis i exercí una influència considerable sobre la música, no tan sols a Alemanya sinó també a Bèlgica i Holanda. Un dels seus alumnes destacats fou el compositor Max Bruch. Les seves millors obres són les cançons i les peces per a piano. Com a escriptor, els seus llibres i assaigs palesen un estil brillant i una objectivitat admirable.