Es crià a Ohio i s’inicià amb bandes locals com a trompetista, per a les quals també realitzà arranjaments. El 1933 entrà a l’orquestra de Jimmie Lunceford, on romangué fins el 1939, escrivint gran part dels arranjaments i com a trompetista. Simultàniament feu arranjaments per a Benny Goodman, i més tard per a Tommy Dorsey. Posteriorment treballà com a director musical per a diverses companyies discogràfiques, dirigint orquestres d’estudi. Al final dels anys seixanta reprengué la trompeta i formà un nonet que treballà fins entrats els anys vuitanta. La importància de Sy Oliver, que fou un bon trompetista i cantant, rau sobretot en els arranjaments escrits per a Jimmie Lunceford.