S’inicià en el món musical amb l’estudi del saxòfon, però posteriorment es decantà per la tuba. Ingressà a la Juilliard School i a la Manhattan School de Nova York. En 1964-65 fou professor del Mannes College i el 1971 fou nomenat professor de la Universitat d’Indiana, on el 1973 s’encarregà de l’organització d’un simposi internacional sobre la tuba. El 1975 fou convidat a actuar com a solista al Carnegie Hall, on oferí cinc recitals. Aquell mateix any participà en la fundació de la International Brass Society.
Harvey Philips fou considerat un dels grans intèrprets de tuba i un dels personatges que més feren al llarg del segle XX per la difusió d’aquest instrument i per l’ampliació del seu repertori. Diversos compositors, com Morton Gould, David Baker o Gunther Schuller, li dedicaren algunes de les seves obres.