S’inicià amb el clarinet i el saxòfon alt, que canvià pel saxòfon tenor el 1947. A partir del 1949 treballà a Detroit amb Snooky Young, entre d’altres. El 1953 entrà a la big band de Count Basie, i n’esdevingué un dels principals solistes. A més de les seves incisives improvisacions, Foster aportà composicions i arranjaments (sobretot Shiny Stockings) que foren factors importants de l’èxit de Basie en aquell període. El 1964 deixà l’orquestra i treballà de manera independent, però posteriorment s’uní al grup d’Elvin Jones. Organitzà una gran formació, de fins a vint-i-cinc músics, anomenada Loud Majority. El 1986, i durant nou anys, assumí el lideratge de la Count Basie Orchestra. Després continuà actuant en quartet i el 1997 enregistrà el CD Leo Rising.