Es crià a Detroit i, encara adolescent, tocà amb Kenny Burrell. Un cop a Nova York, el 1955, Miles Davis l’incorporà al seu conjunt, on romangué fins el 1962 i participà en tots els enregistraments del trompetista. Paral·lelament, gravà alguns discos en nom propi, com ara Bass on Top (1957), però sobretot participà en una llarga llista d’enregistraments acompanyant els millors músics del període. Després de deixar Davis, tocà uns quants anys en el trio de Wynton Kelly, tot i que la seva activitat anà minvant per motius de salut. Fou un dels contrabaixistes més importants de la seva generació. Tocava molts solos amb l’arc, una rara especialitat en el jazz. La seva entonació i la qualitat de so eren extraordinàries.