El 1924 es traslladà a Nova York i dos anys més tard organitzà la seva pròpia orquestra, amb la qual tocà en diverses sales de ball. Al llarg de la dècada següent, la formació gaudí de gran popularitat, especialment durant les llargues estades al Savoy Ballroom. Gran part de l’atractiu era la força rítmica que Webb imprimia des de la bateria. Cal destacar la interpretació de les peces compostes i arranjades per Edgar Sampson, per exemple Blue Lou i Let’s Get Together. L’any 1934, l’orquestra incorporà la llavors debutant Ella Fitzgerald. Webb, que des de la infantesa patia tuberculosi òssia i una severa desviació de columna, fou un dels intèrprets de bateria més influents dels anys trenta. Consolidà el paper de la percussió en l’orquestra de ball swing i fou pioner en la interpretació de solos, com mostren els temes Harlem Congo (1937) i Liza (1938).