Nascut en una família jueva de músics, el 1888 es traslladà a Moscou, on es convertí al cristianisme. Estudià composició i contrabaix al conservatori de la ciutat, i entre el 1894 i el 1905 tocà el contrabaix a l’orquestra del Teatre Bol’šoj. El 1907 es traslladà a Berlín, on debutà com a director al capdavant de l’Orquestra Filharmònica d’aquesta ciutat. El 1909 creà una orquestra pròpia, amb l’objectiu de propagar la música que li agradava, i la dirigí fins el 1915. Entre el 1917 i el 1927 dirigí l’Orquestra Estatal de Petrograd. El 1922 dirigí el cicle de concerts de Quaresma al Liceu de Barcelona, amb l’Orquestra Pau Casals. En 1922-24 actuà a París amb els anomenats Concerts Koussevitzky, i del 1924 al 1949 dirigí l’Orquestra Simfònica de Boston. El 1940 fundà a Tanglewood el Berkshire Center, un centre estival d’estudis musicals, i el 1943 hi creà la Fundació Koussevitzky en memòria de la seva esposa, morta un any abans. Gran difusor de la música russa, francesa i nord-americana, dirigí estrenes d’obres de compositors del segle XX com A. Skr’abin, F. Schmitt, A. Roussel, I. Stravinsky, S. Prokof’ev, B.J. Martinu, A. Honegger i A. Schönberg, a més de la versió orquestral que M. Ravel feu dels Quadres d’una exposició de M. Musorgskij. De les seves composicions cal destacar un concert per a contrabaix.