Estudià violí amb el seu pare, l’organista Josef Neruda. El 1852 s’inicià en el violoncel a Brno, instrument què perfeccionà a Varsòvia amb A.F. Servais (1859). El 1864 s’establí a Copenhaguen com a membre de l’orquestra reial. El mateix any fundà la Societat de Música de Cambra, i el 1868, el seu propi quartet de corda. Del 1876 al 1879 passà temporades a Londres, i en retornar a Copenhaguen fundà el Quartet Neruda, de gran renom a Dinamarca, amb el qual treballà fins que el 1889. A. Rubinstein el trià per a succeir a K. Davydov com a professor al Conservatori de Sant Petersburg. De nou a Copenhaguen, el 1891 fou nomenat director de la Societat Musical Danesa, càrrec que exercí fins a la seva mort. Durant aquest període també dirigí a la Societat Musical d’Estocolm. Les seves composicions, que mostren la influència del folklore txec, inclouen cinc concerts per a violoncel, altres obres per a violoncel i peces per a piano.