Fill del tresorer del príncep de Liechtenstein, el seu talent excepcional per la música es manifestà quan era molt petit. A set anys ja feia d’organista a la seva ciutat natal, i escriví les seves primeres composicions. L’any 1851 els seus pares l’enviaren a estudiar al Conservatori de Munic, on rebé classes d’orgue, piano i teoria. També estudià de forma privada amb Franz Lachner. Malgrat que havia escrit moltíssimes peces per a orgue, en les quals desplegava un admirable domini del contrapunt, no fou fins l’any 1859 que es decidí a publicar una col·lecció de peces per a piano amb el títol d'Opus 1. El mateix any esdevingué professor del Conservatori de Munic, i l’any 1864, director de la Societat Coral de la capital bavaresa. El 1877 fou nomenat mestre de capella de la cort, i el 1899 obtingué un doctorat honoris causa per la Universitat de Munic. Rheinberger gaudí en vida d’un gran prestigi com a professor de composició. Les seves obres, escrites amb gran habilitat i profund coneixement de les tècniques clàssiques, engloben pràcticament tots els gèneres instrumentals i vocals, però són les seves composicions per a orgue les que més han perdurat.