Estudià piano, i els anys setanta començà a treballar com a pianista i vocalista en diversos grups. A partir del 1977 es dedicà només a cantar, i al principi dels vuitanta ho feu al grup vocal de John Hendricks. El 1983 gravà un disc a cappella i començà a oferir concerts cantant sense acompanyament, amb la qual cosa assolí una gran popularitat. Guanyà premis, aconseguí èxits com Don’t Worry Be Happy i col·laborà amb artistes del pop. El 1990 mostrà els seus dots d’orquestrador amb el conjunt de deu veus Voicestra. El 1995 gravà l’àlbum Paper Music, dirigint i cantant música de J.S. Bach, W.A. Mozart, I. Stravinsky i d’altres, amb la Saint Paul Chamber Orchestra. Amb l’àlbum Circle Songs (1997), juntament amb membres de Voicestra, inicià una gira amb música totalment improvisada. McFerrin obrí nous camps a l’art vocal, interpretant, consecutivament, diferents parts d’una partitura múltiple emprant des de la tessitura de baix fins al falset.