De nen començà a cantar pel carrer i a setze anys formà part d’un grup de gòspel . A vint anys deixà Brooklyn, barri en el qual havia nascut, i s’instal·là al Greenwich Village, el barri bohemi de Nova York, on participà en el moviment beatnik i començà a escriure poemes i a compondre i interpretar en un estil proper al de Bob Dylan. Publicà el primer disc el 1967 (Mixed Bag) i amb els següents aconseguí una notable popularitat com a músic de folk. Tanmateix, la fama llegendària li arribà al Festival de Woodstock (1969), en què, en una llarga actuació, improvisà Freedom, una cançó basada en l’espiritual Motherless Child, que es convertí en un dels himnes de la generació hippy. L’any 1970 fundà l’empresa discogràfica Stormy Forest.
Al llarg de la seva carrera publicà una vintena llarga d’àlbums, entre els quals destaquen Stonehenge (1970), The Great Blind Degree (1971), Live On Stage (1972), Portfolio (1973), Mixed Bag II (1974), Common Ground (1983), Now (1991), Cuts to the Chase (1994), Wishing Well (2002), Grace Of The Sun (2004) i Nobody Left to Crown (2008). Foren molt populars les seves versions de Just Like a Woman, de Bob Dylan, i Here Comes the Sun, del Beatle George Harrison.
Actuà també en algunes pel·lícules i interpretà bandes sonores, entre les quals cal esmentar Django Unchained (2012), de Quentin Tarantino. El 1993 actuà en la investidura del president Bill Clinton, i el 2003 fou distingit amb l’American Eagle Award, de reconeixement a la seva contribució al patrimoni musical dels Estats Units. Fou també molt important la seva tasca com a educador: el 1976 fou cofundador del Northwind Undersea Institute, un museu oceanogràfic del Bronx adreçat sobretot als infants.