Nascut en una família jueva de músics, el 1888 es traslladà a Moscou, on es convertí al cristianisme. Estudià composició i contrabaix al conservatori de la ciutat, i entre el 1894 i el 1905 tocà el contrabaix a l’orquestra del Teatre Bol’šoj. El 1907 es traslladà a Berlín, on debutà com a director al capdavant de l’Orquestra Filharmònica d’aquesta ciutat. El 1909 creà una orquestra pròpia, amb l’objectiu de propagar la música que li agradava, i la dirigí fins el 1915. El 1909, amb la col·laboració de Rakhmaninov, van fundar l'editorial Éditions Russes de Musique, amb la qual van publicar per primera vegada les partitures de nombrosos músics russos.
Arran de la revolució del 1917, tornà a Rússia per dirigir l’Orquestra Estatal de Petrograd, però el 1920 es traslladà a París, des d’on procurà la difusió de l’òpera russa per Europa. Dirigí l'orquestra fins el 1927. El 1922 dirigí diverses òperes russes en el cicle de concerts de Quaresma al Liceu de Barcelona, entre elles Sneguročka, de Rimskij-Korsakov (1922), amb l’Orquestra Pau Casals. En 1922-24 actuà a París amb els anomenats Concerts Koussevitzky.
El 1924 es traslladà als Estats Units per dirigir l’Orquestra Simfònica de Boston i s'hi intal·là fins a la seva mort. Dirigí l'orquestra fins el 1949. El 1940 fundà a Tanglewood el Berkshire Center, un centre estival d’estudis musicals, i el 1943 hi creà la Koussevitzky Music Foundation per a ajudar a joves músics, en memòria de la seva esposa, morta un any abans.
Gran difusor de la música russa, francesa i nord-americana, dirigí estrenes d’obres de compositors del segle XX com A. Skr’abin, F. Schmitt, A. Roussel, I. Stravinsky, S. Prokof’ev, B.J. Martinu, A. Honegger i A. Schönberg, a més de la versió orquestral que M. Ravel feu dels Quadres d’una exposició de M. Musorgskij. De les seves composicions cal destacar un concert per a contrabaix i orquestra.