Fill d’un matrimoni grecojueu emigrat a Egipte, s’establí a França el 1951 i cresqué en un ambient poliglot (parlava grec, àrab i anglès, i la seva primera llengua era el francès). En la seva primera joventut treballà en oficis diversos (editor, periodista i cambrer) i freqüentà els ambients artístics. Començà a cantar en un estil molt influït per Georges Brassens, del qual adoptà el nom per a l’activitat musical i literària.
L’any 1958 fou presentat a Édith Piaf, la qual li estrenà la cançó Milord que esdevingué un gran èxit popular. L’any 1961 publicà el primer disc, Moustaki (títol que repetiria en diversos àlbums de la seva discografia), al qual seguiren d’altres, sempre dins del seu estil càlid i melòdic.
Fou també molt sol·licitat com a lletrista per altres cantants en francès, com ara Yves Montand, Barbara, Juliette Gréco i, sobretot, Serge Reggiani. Posteriorment aconseguí un altre gran èxit amb la cançó Le métèque (1968), que explica la condició de l’immigrant i que, per les connotacions anarquitzants i hedonistes, esdevingué una mena d’himne del moviment del Maig del 68, amb el qual se sentia molt identificat. Altres cançons que obtingueren un gran ressò foren Le facteur, La mer m’a donné, Ma solitude, Le temps de vivre, Ma liberté, Marche de Sacco et Vanzetti, Hiroshima o Sarah.
A més de l’esmentat àlbum, publicà, entre d’altres: Bobino 70 (1970), Il y avait un jardin (1971), Danse (1972), Déclaration (1973), Humblement il est venu (1975), Espérance (1977), Si je pouvais t’aider (1979), Méditerranéen (1992), Tout reste à dire (1996), Vagabond (2005), i Solitaire (2008).
La seva veu dolça, la seva poesia intimista i a voltes reivindicativa, juntament amb una música amb arrels gregues i a la vegada d’influència brasilera, el feren molt popular, no solament a França, sinó també als Països Catalans. El seu repertori inclou també cançons en castellà, italià, anglès, portuguès i àrab. Feu un gran nombre de gires internacionals i actuà diverses vegades a Catalunya, on tingué una forta vinculació amb diversos representants de la Nova Cançó, especialment amb Marina Rosell, amb qui actuà diverses vegades al Palau de la Música, on el 2009 feu el concert amb què s’acomiadà dels escenaris. El 2011, Rossell publicà Marina Rossell canta Moustaki, amb versions al català dels grans èxits del cantant adaptats al català.
El 1990 edità el llibre Les filles de la mémoire, un recull de contes autobiogràfics, i el 2011, les memòries La sagesse du faiseur de chanson.