Exercí com a advocat (1844-55) i fou diputat pel partit liberal. Membre del Senat (1861), assolí el càrrec de secretari del Tresor (1878-79). El 1880 fou designat senador de la Confederació i, cinc anys després, esdevingué president del Senat i vicepresident de la Unió, fins el 1889. El seu nom és conegut en la història de la legislació antitrust nord-americana, car la Sherman Anti-trust Act (1890) és una de les més famoses lleis federals elaborades per lluitar, tot declarant-les il·legals, contra les combinacions d’empreses restrictives de la competència.