Nascut en una família de tradició musical, aprengué a tocar diversos instruments. Després de tres anys a la marina, estudià al conservatori i a la Universitat de Boston, ciutat on desenvolupà una intensa activitat professional. A l’inici dels anys seixanta començà a desenvolupar un estil propi i marcat caràcter experimental que el portà a una breu col·laboració amb Miles Davis (1964).
El 1965, els àlbums Fuchsia Swing Song i Contours per a Blue Note, com també les col·laboracions amb altres músics d’aquest segell, l’establiren com una referència del jazz d’avantguarda. Els anys setanta i vuitanta se centrà en improvisacions en duo o en trio en les quals tocava sovint més d’un instrument. El 1970 fundà amb la seva muller el taller Studio Rivbea, que acollia músics d’avantguarda i que donà lloc a una big band que, entre altres enregistrà els àlbums Inspiration i Culmination (1998).