Seguint la seva vocació eclesiàstica, ingressà al seminari d’Orel. Des de molt jove mostrà unes grans aptituds musicals que el portaren a dirigir el cor del seminari quan tan sols tenia catorze anys. El 1884 marxà a Moscou per estudiar música a l’Escola de la Societat Filharmònica, on aconseguí una beca com a fagotista. Passà grans penúries econòmiques fins que el 1892 fou nomenat director del Teatre Malïy gràcies a la recomanació de P.I. Čajkovskij. El 1893 aconseguí el càrrec de director assistent del Teatre Italià de Moscou. Quan semblava que la sort li somreia, els problemes de salut -era tuberculós- l’obligaren a traslladar-se a Crimea on, fins a la seva mort, sobrevisqué gràcies a l’ajut econòmic dels seus amics. Les seves obres més notables són la música incidental per a El tsar Borís i les seves dues simfonies, peces que mostren les influències d’A. Borodin i P.I. Čajkovskij. Tot i les reticències expressades per N. Rimskij-Korsakov en el seu moment, la Simfonia número 1 (1895) de Kalinnikov es convertí en la seva obra més freqüentment interpretada i des de llavors forma part del repertori habitual de les orquestres russes.