Graduat en llengua anglesa per l’escola de magisteri de la seva ciutat el 1988, des d’aquest any fou professor d’anglès a l’Institut d’Enginyeria i Electrònica (actualment Universitat Hangzhou Diangzi) fins el 1993. El 1994 fundà una empresa de traducció i viatjà als Estats Units, on s’adonà de les potencialitats d’internet per al món empresarial.
En tornar a la Xina, el 1995 fundà el lloc web China Pages, orientat als serveis a l’empresa, que deixà el 1998. Després d’un any de treballar per al Ministeri de Comerç Exterior, el 1999 fundà Alibaba Group, companyia destinada als negocis entre petites i mitjanes empreses, que aviat aconseguí un gran èxit. Aliat amb el proveïdor Yahoo! (2005), el 2007 començà a cotitzar a la borsa de Hong Kong. El 2003 creà la filial Taobao, empresa de comerç electrònic que aviat superà eBay en el primer lloc del sector. Des del 2014 Alibaba cotitza a la borsa de Nova York. El grup Alibaba, molt centrat a la Xina, es disputa amb Amazon el primer lloc del comerç electrònic mundial. El 2013 es retirà com a executiu en cap del grup i el setembre del 2018 anuncià la retirada de la presidència al cap d’un any.
El 2014 creà la Jack Ma Foundation, dedicada a projectes de filantropia i desenvolupament, especialment a la Xina rural. Segons la llista de la revista Forbes, el 2017 era la tercera fortuna del món. El novembre del 2018, un diari del govern confirmà la seva pertinença al Partit Comunista Xinès. Deixà la presidència del grup Alibaba el setembre del 2019 per a dedicar-se a la filantropia i a l’educació, bé que continuà al consell d’administració.