Tocà amb grups alemanys, i el 1957 començà la seva carrera internacional, que es consolidà amb el disc Animal Dance (1962), gravat amb John Lewis. Els anys setanta practicà free-jazz, fent gires internacionals amb diversos grups, sobretot la Globe Unity Orchestra, i presentant concerts per a trombó sol. Els anys vuitanta i noranta actuà de solista en diverses formacions, sobretot el United Jazz Rock Ensemble. La importància de Mangelsdorff rau en certs aspectes tècnics de la interpretació del trombó. Desenvolupà la tècnica multifònica cantant una nota, tocant-ne una altra i generant sons harmònics, tal com mostra l’àlbum Trombirds (1972).