Passà la infantesa a San Francisco i des dels tretze anys tocà en diversos grups d’aquesta ciutat. Pertanyé a les orquestres de Stan Kenton (1969) i Woody Herman (1970-71). Després, es traslladà a Nova York per incorporar-se al grup d’Horace Silver (1973). També formà part del nonet de Lee Konitz, entre altres grups. Durant una bona part dels anys vuitanta fou membre de la formació de hard-bop de Phil Woods. Posteriorment es presentà amb freqüència amb el seu propi nom i dugué a terme un bon nombre d’enregistraments. Harrell esdevingué un dels millors improvisadors i trompetistes dels anys vuitanta i noranta. Les seves frases, lògiques i d’una expressivitat continguda, són executades amb un to d’especial bellesa.