Començà tocant el clarinet, i el 1944 debutà amb el grup del guitarrista Eugène Baptiste. El 1948 adoptà el saxo tenor, i esdevingué líder de l’orquestra del Hot Club de Tolosa. Marxà a París, on col·laborà amb músics americans, com Big Bill Broonzy (1950), Bill Coleman -el seu gran amic- i Dicky Wells (1952). El 1954 enregistrà, sota el seu nom, el disc Blue and Sentimental, mentre liderava un grup al club parisenc Les Trois Mailletz. El 1956 feu una gira i enregistrà amb Lionel Hampton. Intervingué en el llargmetratge Paris Blues (1961). Prosseguí la seva carrera participant en els millors festivals d’Europa, sovint amb músics americans, com ara Milt Buckner, Arnett Cobb, Oliver Jackson i Wild Bill Davis. Lafitte fou un dels millors músics europeus de jazz, i un dels que millor han sabut assimilar el llenguatge i, sobretot, l’accent específic de la música afroamericana. Molt lligat a la seva terra occitana, els anys setanta deixà el saxo i s’instal·là a Tournan, on durant alguns anys exercí de ramader, després dels quals tornà a la música jazz. Fou el creador del festival Jazz in Mariac.