Fill d’un immigrant de Cap Verd, el 1950 el saxofonista Stan Getz l’incorporà al seu grup. El 1951 s’instal·là a Nova York, on acompanyà els dos grans saxofonistes del moment, Lester Young i Coleman Hawkins, i poc després absorbí les influències del nou estil del be-bop. Amb el bateria Art Blakey el 1953 formà The Jazz Messengers, un dels grups de jazz de més renom posteriors a la Segona Guerra Mundial i capdavanter del hard-bop. El 1956 l’abandonà per formar el seu propi grup, amb el qual assolí també una gran projecció i en el qual es formaren instrumentistes famosos. Com a pianista, destacà per l’estil sobri i alhora intens, amb una influència del blues molt marcada.
Fou un compositor prolífic i algunes de les seves peces passaren a formar part del repertori jazzístic general (Sister Sadie, Doodlin’, Peace). Entre els seus àlbums més celebrats cal esmentar Horace Silver and the Jazz Messengers (1955), Blowin’ the Blues Away (1959), Song for My Father (1964) i The Cape Verdean Blues (1965). Fins els anys setanta enregistrà amb el segell Blue Note, i en fou un dels principals músics. Posteriorment compongué obres vocals, de les quals escriví també la lletra, que obtingueren menys ressò. Continuà actuant fins al final dels anys noranta, i enregistrà àlbums com Jazz Has a Sense of Humor (1998). Rebé, entre d’altres, el premi al mèrit de l’Acadèmia de l’Enregistrament (2005).
Fou un dels pioners de l’estil hard-bop, en combinar elements del rhythm-and-blues i el gòspel amb el jazz, fent ús de les innovacions que havia aportat el be-bop. Per a fer-ho desenvolupà l’art de la composició, l’arranjament i l’orquestració per a quintet amb trompeta i saxòfon tenor d’una manera que esdevingué modèlica.