Inicià estudis de piano de petit i aviat tocà en orquestres de jazz. Acompanyà solistes com Bobby Hackett, Jo Jones i Vic Dickenson. Els anys cinquanta del segle XX obrí dos clubs, i engegà el segell discogràfic Storyville. El 1954 fundà el Newport Jazz Festival. Més endavant n’organitzà d’altres, com ara la Grande Parade du Jazz de Nice, i creà una empresa per a dirigir-los. Com a pianista es presentà sovint al capdavant del grup Newport Festival All Stars, que inclogué músics com Buck Clayton, Buddy Tate, Warren Vaché, Oliver Jackson i Slam Stewart.