Nascut en una família de músics i ballarins, als 10 anys passà a formar part de la companyia de dansa que dirigia el seu germà Uday. Les seves extraordinàries aptituds com a intèrpret de sitar i sarong, dos dels més difosos instruments de corda de la tradició musical de l’Índia, i tambe d’altres instruments com la tabla (una mena de tambor) i la flauta, es posaren aviat de manifest, i en pocs anys es convertí en un dels membres més importants del grup. Bàsicament autodidacte, en 1936 anà a París i amb el seu conjunt hi introduí la música índia. Tot i una considerable acceptació, l’any següent retornà a l’Índia per a rebre una educació musical formal. Després de completar els estudis amb un mestre, Allahudin Khan, tornà a actuar en públic a primers anys quaranta, i la bona recepció que trobà en el públic l’estimulà per a emprendre les primeres combinacions amb la tradició musical occidental, que aplicà sobretot a encàrrecs per a música escènica i per a bandes sonores, especialment en alguns dels films més celebrats del director Satyajit Ray entre els anys 1950 i 1955. Director musical de l’emissora estatal Índia (All India Radio) de 1949 a 1956, el 1954 començà a fer gires per Europa, els Estats Units i l’URSS, on amb els seus concerts i enregistraments desvetllà un gran interès per la música del sitar.
Fou en 1965, però, que la seva projecció a Occident aconseguí un impuls definitiu quan George Harrison, membre de The Beatles, inclogué un fragment de sitar en el disc del grup Norwegian Wood, i inicià una estreta col·laboració amb ell, que arribà fins el 1997 i es materialitzà en diversos discs conjunts. Altres músics i grups de rock, com The Rolling Stones o The Animals també inclogueren el sitar en algunes de les seves cançons. Ell mateix participà en festivals de rock històrics, com ara Monterey (1967) i Woodstock (1969). De manera involuntària, la seva música acabà indentificada amb la psicodèlia, que rebutjà. Col·laborà també amb destacats intèrprets de música clàssica i de jazz, entre els quals el violinista Yehudi Menuhin, amb el qual entregistrà tres discs amb títols indicatius (West Meets East, 1967 i 1968 i East Meets West, 1977), el flautista Jean-Pierre Rampal i el saxofonista John Coltrane, al qual influí molt en les composicions i la interpretació de l’etapa final de la seva carrera. Col·laborà també en diverses obres del compositor nord-americà Philip Glass, amb el qual publicà conjuntament l’àlbum Passages (1990).
Als Estats Units, on passà llargues temporades, hi impartí classes sobre música índia i a finals de la dècada dels anys seixanta establí a Los Angeles una delegació de l’escola de música Kinnara, que havia fundat el 1962 a Mumbai. Col·laborà també com a compositor i intèrpret de nombroses bandes sonores: a més dels esmentats films de Satyajit Ray, sobresurten Kalibuliwala (1957) de Tapan Sinha, que li valgué un Os de Plata del Festival de Berlín, i Gandhi (1982), de Richard Attenborough.
Pare de la cantant Norah Jones i la sitarista Anouska Shankar, de 1986 a 1992 fou membre de la cambra alta del parlament de l’Índia. Publicà les autobiografies My Life, My Music (1969) i Raga Mala (1997). El 2010 fundà l’empresa discogràfica East Meets West Music.
Entre els guardons i distincions que li foren concedits cal esmentar les tres màximes condecoracions civils de l’Índia: Padma Bhushan (1967), Padma Vibhushan (1981) i Bharat Ratna (1999). Obtingué també tres premis Grammy, el premi Imperial de música del Japó (1997) i el premi Polar de Música (1998). L’any 2001 fou nomenat Cavaller Comanador Honorary de l’Imperi Britànic.