Encara adolescent, començà a actuar com a solista de piano als cabarets de Harlem. Al principi dels anys vint ja havia desenvolupat el seu estil i compost algunes de les seves peces més cèlebres, com ara Keep off the Grass i Carolina Shout, que gravà el 1921. Després enregistrà molts discos acompanyant cantants de blues, com Bessie Smith i Ethel Waters, mentre componia per a revistes musicals. La seva carrera com a intèrpret es revitalitzà al final dels anys trenta, arran de les gravacions que efectuà amb Tommy Ladnier, i es mantingué actiu fins a la meitat de la dècada dels quaranta. Johnson fou un dels pares de l’estil stride piano, que significà, per a aquest instrument, el pas decisiu del ragtime al jazz. Inspirà la majoria dels pianistes sorgits durant els anys vint i trenta.