Començà a tocar quan tenia onze anys i al cap de poc temps debutà a Nova Orleans. El 1911 formà una orquestra en la qual tocaren els millors músics de la ciutat, entre ells King Oliver i Louis Armstrong. L’any 1919 deixà Nova Orleans i anà a Los Angeles, on liderà diversos grups. El 1925 arribà a Chicago, i els anys següents participà en algunes de les sessions de gravació més importants de l’època, amb King Oliver, Louis Armstrong i Jelly Roll Morton. El 1930 s’establí de nou a Los Angeles, però el 1933 abandonà temporalment la música i treballà com a granger i com a funcionari de ferrocarrils. Nou anys després, amb el renaixement del jazz de Nova Orleans, retornà a la música i formà una orquestra que cultivà aquest estil de jazz. Ory actuà fins el 1966. Fou el principal representant de l’estil de trombó de Nova Orleans.