Fill d’un conegut autor de cançons de musicals, fou soldat durant la Segona Guerra Mundial, i fou condecorat pels seus serveis. Posteriorment es graduà en literatura i pintura al Bard College de Nova York (1949). A l’inici de la dècada dels cinquanta, juntament amb el seu germà Richard Morton Sherman (Nova York, 12 de juny de 1928 - Los Angeles, 25 de maig de 2024) començà a escriure cançons per a produccions de teatre musical. L’any 1958 fundà la productora i editora Music World Corporation, i des de mitjan anys seixanta ambdós treballaren de manera estable per a Walt Disney, i foren els autors de les cançons més celebrades en les produccions d’aquest director, entre les quals Mary Poppins (1964). Aquest film, que incloïa les cançons Feed the Birds, Supercalifragilisticexpialidocious i Chim-Cheere, valgué als germans Sherman dos premis Oscar (1965). Altres èxits en produccions de Disney foren Winnie the Pooh (1966) i The Jungle Book (1967). Després de la mort de Disney (1966), continuaren component cançons per a diverses produccions (incloses les de la companyia Disney). Cal esmentar-ne Chitty Chitty Bang Bang (1968), Tom Sawyer (1973), el musical teatral Over Here! (1974), The Slipper and the Rose (1976), The Magic of Lassie (1978), i Little Nemo: Adventures in Slumberland (1992), entre moltes altres. A banda dels premis esmentats, compartí també un Grammy amb el seu germà per Mary Poppins (1965) i la Medalla Nacional de les Arts (2008).