El seu debut discogràfic fou el 1936 a la banda del seu germà The Solid Swingers. Poc després es traslladà a Los Angeles. Influït especialment per Earl Hines, Cole aviat es convertí en un dels pianistes més interessants, amb un estil basat en frases de notable complexitat a la mà dreta i una mà esquerra espaiada i de gran sentit rítmic. Les seves aportacions marcaren l’evolució del jazz pianístic. Creà la fórmula de trio integrat per piano, guitarra i contrabaix, que fou adoptada per molts pianistes posteriorment. Feu importants enregistraments amb Lester Young. Cole, que cantava alguns dels temes que interpretava, començà a tenir grans èxits en aquesta faceta, que potencià cada cop més fins a convertir-se en un cantant pop de primera línia durant els anys cinquanta i la primera part dels seixanta. Els seus extraordinaris dots de cantant, una veu clara i càlida amb una dicció precisa, tendiren a eclipsar les seves valuoses aportacions a la música de jazz.