Començà la seva carrera amb altres músics que, com ell, havien estat influïts pels grups de Nova Orleans que treballaven a Chicago. Fou el bateria de les formacions de Benny Goodman del 1934 al 1938, quan aquest músic gaudí del seu primer moment culminant. Després formà orquestra pròpia, que mantingué, amb interrupcions, fins el 1951. Treballà, més tard, com a independent i docent. Krupa fou el bateria més conegut pel gran públic durant els anys quaranta, essent especialment celebrat com a solista.