Començà a tocar quan tenia onze anys en una banda de carrer —string band— i al cap de poc temps debutà a Nova Orleans. Col·laborà en nombroses orquestres d’estil Nova Orleans, d’entre les quals cal esmentar les de Buddy Bolden, King Oliver i els Hot Five i Hot Seven de Louis Armstrong. El 1911 formà la seva pròpia orquestra en la qual tocaren els millors músics de la ciutat, entre ells K. Oliver i L. Armstrong. L’any 1919 deixà Nova Orleans i anà a Los Angeles, on liderà diversos grups. El 1925 arribà a Chicago, i els anys següents participà en algunes de les sessions de gravació més importants de l’època.
El 1930 s’establí de nou a Los Angeles, però el 1933 abandonà temporalment la música i treballà com a granger i com a funcionari de ferrocarrils. Nou anys després, amb el renaixement del jazz de Nova Orleans, retornà a la música i formà una orquestra que cultivà aquest estil. Ory actuà fins el 1966. Fou el principal representant de l’estil de trombó de Nova Orleans.