Començà tocant el saxofon contralt, que aprengué a tocar a setze anys, però poc després adoptà el tenor com a instrument principal. Com a secundaris, utilitzà també el saxòfon soprano i la flauta.
El 1946 s’incorporà a l’orquestra de Dizzy Gillespie, en la qual consolidà el seu estil i s’establí com un dels tenors del bop per antonomàsia. Tocà també en petites formacions amb les grans figures d’aquest moviment, entre els quals cal esmentar Milt Jackson, i el 1949 gravà el primer àlbum com a líder, James Moody and His Bop Men. De l’any següent fins al 1952 residí a Europa, on gravà Moody's Mood for Love, que fou el seu gran èxit.
De retorn als EUA, formà part de nou del quintet de Gillespie des del 1963 fins ben entrats els anys setanta. Es mantingué actiu fins a la mort, al capdavant de petits grups. De la seva nombrosa discografia hom pot esmentar Moodsville (1954), Hi-Fi Party (1956), Last Train from Overbrook (1958) James Moody (1959), Great Day (1964), Don't Look Away Now (1969), The Blues and Other Colors (1969), Never Again (1972), Moving Forward (1988), Moody Plays Mancini (1997) i Moody 4B (2010).