Els primers documents que informen sobre activitats musicals a la ciutat estan relacionats amb la catedral, acabada el 1611. Al segle XVII els mestres de capella més destacats foren Manoel Pais Linhares i Vieira de Barros, i al segle XVIII, Manoel Lopes de Siqueira, Angelo de Siqueira, Matias Álvares Torres i André da Silva Gomes. Les composicions d’André da Silva, que ocupà el càrrec del 1774 al 1824, es conserven a l’arxiu de la seu. El 1750 s’acabà de construir la Casa da Ópera de São Paulo. Des del començament del segle XIX es té constància de funcions operístiques regulars, tot i que sembla que no s’escenificaven obres senceres sinó tan sols algunes parts. Durant la segona meitat del segle es representaren les primeres òperes brasileres. Els autors més notables dins de l’òpera nacional brasilera en aquell moment foren Elias Álvares Lôbo (1834-1901) i Carlos Gomes (1836-1896), ambdós fills de São Paulo. El Teatro São José s’inaugurà el 1864, i el Teatro Municipal i el Santana, el 1911. Al llarg dels anys cinquanta del segle XIX tingueren lloc els primers concerts, generalment amb la participació de solistes estrangers. La colònia italiana, molt nombrosa sobretot a partir de l’últim terç de segle, tingué un destacat paper en la creació d’institucions concertístiques i pedagògiques. L. Chiaffarelli, per exemple, creà una escola de piano i organitzava soirées musicals. Altres societats de concerts nascudes al final del XIX foren el Club Haydn i el Club Mendelssohn. Ja al segle XX sorgiren la Sociedade de Cultura Artística (1912) i la Sociedade de Concertos Sinfônicos de São Paulo (1921). El 1906 nasqué el Conservatório Dramático e Musical de São Paulo.
Mário Raul de Morais Andrade (1893-1945) fou el gran dinamitzador de la vida musical durant el canvi de segle. Estudiós del folklore brasiler, fou un dels pares del nacionalisme musical al seu país. Fundà i dirigí el Departamento Municipal de Cultura durant els anys trenta i participà en la fundació de l’Orquestra Sinfônica de São Paulo i del conjunt vocal Coral Paulistano. El 1937 creà la Sociedade Etnogràfica i Folclòrica de São Paulo. Els anys quaranta nasqué la Sociedade Bach gràcies a l’australià M. Braunwieser, i H.J. Koellreutter creà els Seminários de Música da Pro-Arte i l’Orquestra Sinfônica de Amadores. També sorgiren altres formacions importants, com l’Orquestra de Câmara do Angelicum do Brasil (1951), l’Orquestra Sinfônica Estadual de São Paulo (1952) i l’Associação Paulista de Música (1956), cap d’elles professional. Els anys seixanta, São Paulo es convertí en la capital brasilera de la música experimental. Un grup de compositors format, entre d’altres, per Damiano Cozzella, Rogerio Duprat, Régis Duprat, Gilberto Mendes i Willy Correa de Oliveira redactà el 1963 el Manifesto de Música Nova, en el qual defensava la música brasilera d’avantguarda. Entre els festivals celebrats a la ciutat cal destacar el Free Jazz Festival de São Paulo, que cada any reuneix música d’arreu del món. El Teatre de la Universitat Catòlica de São Paulo, fundat el 1965, s’ha convertit en un dels marcs culturals més importants de la ciutat. S’hi fan concerts i s’hi representen òperes, ballets i també obres de teatre. El 1984 fou destruït per un incendi i la seva reconstrucció s’enllestí al principi dels anys noranta.