Es professionalitzà el 1923 i el juny de 1930 es convertí en el primer europeu campió del món dels pesos pesants, davant el nord-americà Jack Sharley, davant del qual perdé el títol dos anys després. El juny de 1936 derrotà per KO al Yankee Stadium de Nova York el mític boxador nord-americà Joe Louis, èxit que el govern del Tercer Reich volgué aprofitar per a fer propaganda del règim, bé que Schmeling sempre se'n mantingué distanciat (mai volgué ingressar al partit nazi) i ajudà molts jueus a fugir d’Alemanya. Al juny de 1938, la seva derrota per Louis per KO en el primer assalt comportà la seva caiguda en desgràcia i durant la Segona Guerra Mundial fou mobilitzat com a paracaigudista. Posteriorment tornà a la boxa fins a la seva retirada l’any 1948, amb un balanç de 70 combats, 56 dels quals victòries. Guardonat amb la Creu Federal d’honor alemanya (1971), l’any 1987 la premsa especialitzada el va elegir com l’esportista alemany més important de tots els temps.