Els seus components foren, a l’origen, John Lewis (piano i director), Milt Jackson (vibràfon), Ray Brown (contrabaix) i Kenny Clarke (bateria). Durant la segona meitat dels anys quaranta començaren a tocar junts a la big band de Dizzy Gillespie. El 1951, amb el nom de Milt Jackson Quartet, enregistraren un disc, i l’any següent ho feren sota el de Modern Jazz Quartet, havent incorporat el contrabaixista Percy Heath, que substituí Brown. El 1954 començaren a actuar amb regularitat i l’any següent Clarke fou reemplaçat per Connie Kay, de manera que quedà establerta la formació definitiva. Fora d’una interrupció entre el 1974 i el 1980, el grup oferí concerts de manera continuada fins a la meitat dels anys noranta. El Modern Jazz Quartet feu un be-bop moderat, i també composicions segons el third stream. El seu estil, únic, fou també anomenat jazz de cambra. Les composicions i els arranjaments de John Lewis eren interpretats amb un so de conjunt molt treballat, el qual es beneficiava del control dinàmic del bateria Connie Kay i la imaginació improvisadora de Milt Jackson.