Estudià piano des dels sis anys, i d’adolescent debutà professionalment. Aviat es convertí en un dels principals referents de l’estil stride, l’evolució del ragtime a Harlem. Smith fou gairebé un desconegut per al gran públic fins que el 1935 la casa Decca n’edità alguns enregistraments. Les gravacions més representatives de piano sol són, però, les que edità Commodore el 1939, entre les quals destaquen les peces Passionette i Echoes of Spring. Els anys quaranta les seves composicions gaudiren de popularitat a través de la interpretació que en feren altres orquestres. A la dècada següent actuà al Central Plaza i feu diverses gires per Europa. L’any 1957 enregistrà el disc The Lion Roars i continuà actuant en festivals fins al principi dels anys setanta, que enregistrà el disc The Lion and The Tiger amb el bateria Jo Jones. Com a pianista i compositor conreà una particular barreja de ragtime, impressionisme i contrapunt, que constituí una contribució única a la tradició jazzística.