Pertanyent a una família del món de l’espectacle, ja a dos anys aparegué en un vodevil interpretat per la companyia dels seus pares, en la qual continuà actuant els anys següents com a bateria i ballarí de claqué, tot fent gires per diversos països. A onze anys creà i dirigí una banda pròpia i ben aviat mostrà la seva extraordinària facilitat tècnica. El 1937 entrà a formar part de l’orquestra de Joe Marsala, i després treballà amb Harry James, Artie Shaw i Benny Carter. Durant la primera meitat dels anys quaranta formà part de l’orquestra de Tommy Dorsey. Més tard actuà de manera intermitent amb la seva pròpia formació fins el 1951. Participà en les gires de Jazz at the Philharmonic i en diversos enregistraments amb Lionel Hampton, Lester Young, Arthur Tatum i Charlie Parker. Del 1953 al 1966 treballà amb Harry James i poc després formà una big band, que es mantingué activa fins el 1974, any que passà a regentar un club a Nova York, el Buddy’s Place, on, a més, actuava. El 1980 reorganitzà la seva big band.