S’inicià en la música en l’adolescència i, amb el seu company d’institut Art Garfunkel, formà el duo Simon and Garfunkel, que aconseguí un èxit esclatant amb la cançó (i el disc homònim) The Sounds of Silence l’any 1966, al qual seguí Mrs. Robinson, cançó de la banda sonora de la pel·lícula The Graduate (Mike Nichols, 1967), que aconseguí un gran ressò. Després del seu tercer gran èxit, Bridge over Troubled Waters (1970), el duo es dissolgué i ambdós integrants del grup seguiren una trajectòria independent.
Continuà aleshores aprofundint en el seu propi estil, caracteritzat per unes lletres introspectives i elaborades, la inclinació envers els ritmes d’una certa complexitat, els manlleus de músiques de tradició no europea i el predomini de la melodia. L’àlbum més aconseguit d’aquesta etapa fou Still Crazy After All These Years (1975). Uns quants anys després accentuà el vessant folk, que integrà en el corrent new-age, de moda els anys vuitanta. Publicà, entre d’altres, Graceland (1986), àlbum amb el qual contribuí a difondre la música sud-africana, i Rythm of the Saints (1990), d’acusada empremta brasilera i caribeny.
Posteriorment feu una incursió poc reeixida en el musical amb Capeman (1998), amb lletres del premi Nobel de literatura Derek Walcott, bé que l’àlbum resultant fou un considerable èxit de públic i de crítica. Col·laborà també amb altres musics com ara Bob Dylan, amb el qual feu una gira pels Estats Units el 1999. L’any següent publicà You’re the One, i el 2006, Surprise, conjuntament amb Brian Eno, que fou la seva incursió més destacada en la música electrònica. Retornà a l’estil més clàssic dels seus inicis amb So Beautiful or So What (2011). A banda, ha protagonitzat alguns dels concerts més multitudinaris de la història de la música pop, com el del 1991 de Central Park, a Nova York, que aplegà unes 750.000 persones, i altres com els que realitzà amb el seu antic company de duo Art Garfunkel (1981, 1993, 2003, 2009).
Conegut també per les seves iniciatives filantròpiques i les intervencions en cinema i en televisió, fins el 2012 ha guanyat dotze premis Grammy (un dels quals a la trajectòria), i el 1990, com a integrant de Simon and Garfunkel, i el 2001 individualment, accedí al Rock Hall of Fame. L’any 2007 li fou concedit el premi Gershwin de la cançó de la Biblioteca del Congrés i el 2012 el premi Polar de Música, compartit amb el violoncel·lista Yo-yo Ma.