D’infant aprengué a tocar l’acordió i a disset anys s’inicià en l’harmònica cromàtica i, més tard, en la guitarra. El 1950 feu una gira europea amb Benny Goodman i l’any següent emigrà als Estats Units. Després de formar part del quintet de George Shearing (1953-59), desenvolupà una carrera en solitari. El 1961 enregistrà Bluesette, la seva composició més famosa, tocant la guitarra i xiulant. En altres ocasions feu enregistraments tocant l’harmònica. El seu treball més conegut en aquest sentit és la intervenció en la banda sonora de la pel·lícula Midnight Cowboy (J. Schlesinger 1969). A partir dels anys setanta fou un protagonista habitual en els millors festivals. Entre els seus principals discos destaquen Images (1974) i Only Trust Your Heart (1988). Amb el seu estil inconfusible, fou un dels més importants intèrprets d’harmònica en el món del jazz.