Germà d’Anton Rubinstein, fou alumne a Berlín de Th. Kullak (piano) i de S. Dehn (composició) entre el 1844 i el 1846. Posteriorment continuà l’estudi del piano a Moscou, amb A. Villoing. La seva activitat com a concertista s’inicià el 1858. Com a director d’orquestra feu concerts a Sant Petersburg i París. També fundà i dirigí els cursos musicals de la Societat Musical russa a Moscou, i a partir del 1866 s’encarregà de fundar el conservatori, on exercí també com a professor fins a la seva mort. Fou un pedagog eficient, i entre els seus alumnes figuren S. Tanejev, A. Siloti o E. Sauer. Tot i haver estat un nen prodigi, la seva tècnica pianística fou molt més analítica i cerebral, i menys vehement que la del seu germà Anton. Però en canvi el seu suport a P.I. Cajkovskij i a l’escola russa en general fou més incondicional.