Començà a tocar la guitarra de ben petit, instrument que dominà en poc temps, així com la mandolina i el banjo. Molt preocupat per les arrels de la música dels EUA i d’altres parts del món, fou conegut pel seu domini del blues tocat amb la tècnica bottleneck, és a dir, amb un cilindre tipus coll d’ampolla en un dit de la mà que es desplaça pel màstil.
Començà a destacar com a músic de sessió col·laborant amb The Rolling Stones, Eric Clapton, Taj Mahal, Captain Beefheart i altres. L’any 1970 feu el seu primer disc en solitari, on recuperà música popular dels EUA, en un estil a cavall entre el blues, el folk i el rhythm-and-blues. Més tard incorporà als seus discos estils com el gòspel, la música hawaiana, el jazz, el tex-mex i el reggae. Els anys vuitanta compongué diverses bandes sonores de films com Paris, Texas (W. Wenders 1984), Streets of Fire (W. Hill 1984) o Geronimo (W. Hill 1993). L’any 1992 formà el grup Little Village.
També es dedicà a la producció de discos en col·laboració amb músics hindús, japonesos, cubans i d’altres parts del món, com el del malià Ali Farka Toure Talking Timbuktu, amb el qual guanyà un Grammy l’any 1994.