Les fonts sobre la vida musical vienesa comencen a ser importants a partir del segle X. Des d’aquesta centúria i fins al segle XIII, la música sacra visqué una època d’esplendor, especialment a Sant Esteve, principal parròquia de la ciutat. Al segle XIII ja es troben documents de música sacra escrita en alemany, com el coral Christ ist erstanden ('El Crist ha ressuscitat', 1213). Paral·lelament a la música religiosa, està documentada l’existència de minnesänger, com Ulrich von Lichtenstein, Walter von der Vogelweide o Neidhart von Reuenthal. Amb la caiguda de la dinastia dels Babenberg, el país visqué una època d’inestabilitat política, de la qual no es recuperà fins a la vinguda dels Habsburg a mitjan segle XIV. Aquesta centúria fou la de l’aparició dels meistersänger, com Heinrich von Meissen o Konrad von Würzburg. A més, des del 1308 ja existia una capella musical a la cort. Les primeres partitures de polifonia sacra trobades a la ciutat daten del començament del segle XV, a Sant Esteve. La Universitat de Viena, fundada l’any 1365, fou un important centre pel que fa a l’ensenyament de teoria de la música, amb mestres com Nikolaus von Neustadt, Georg von Horb i Paul Troppauer.
Al segle XIV es conreà també la música profana polifònica, representada per autors com Hermann von Salzburg o Oswald von Wolkenstein, actius a la cort d’Albert III. La música a la cort tingué el seu moment de màxima esplendor sota Maximilià I, al final del segle XV, amb H. Isaac, L. Senfl i P. Hofhaimer, entre d’altres. Després de la mort d’aquest emperador, la capella continuà tenint un alt nivell gràcies a l’arribada de músics flamencs com P. Maessens i J. Guyot. L. de Sayve, que obtingué el càrrec el 1578, fou l’últim mestre de capella d’origen flamenc. L’estil italià s’integrà en la música instrumental gràcies a músics alemanys com J.H. Schmelzer, H.J.Fr. Biber, G. Muffat i J.J. Fux. El gran compositor per a tecla J.J. Froberger, molt influït per la música italiana, visqué algun temps a la ciutat i està documentat com a organista de la cort el 1637 i en 1653-58. Els successors de Froberger, com J.K. Kerll i J. Pachelbel, crearen a Viena una important escola de música de tecla. El gènere predominant durant el segle XVII fou, no obstant això, l’òpera. Alguns músics italians contractats per la cort, com el prolífic M.A. Cesti, A. Draghi i els germans G. Bononcini, estrenaren diverses obres escèniques a Viena. L’any 1708 s’inaugurà l’Opernhaus.
Després de la mort de J.J. Fux (1741), la capella imperial perdé embranzida. Els seus successors, com G. von Reutter, F.L. Gassmann i A. Salieri, no foren els compositors més rellevants de l’època. Els músics que protagonitzaren els capítols més importants, com ara Ch.W. Gluck i W.A. Mozart, no estaven relacionats amb la capella imperial. Fou en aquest punt que començà l’època gloriosa que s’ha anomenat Classicisme vienès. Autors com J. Haydn, W.A. Mozart i L. van Beethoven trencaren el cordó umbilical que unia Viena amb la música i els músics italians per tal d’ini-ciar un camí propi. Aquests eren només els tres noms més prestigiosos d’un grup que incloïa d’altres prou importants, com G.Ch.Wagenseil, I. Holzbauer, K.D. von Dittersdorf, M. Stadler, F.A. Hoffmeister, J. Wölfl, F.X. Süssmayr o J.N. Hummel. El 1772 es fundà la societat de concerts Tonkünstler-Sozietät. La ciutat disposava en aquells moments de dos teatres d’òpera: el Burgtheater i el Kärntnerthortheater.
El Romanticisme arribà a Viena amb Franz Schubert, que introduí als salons el gènere del lied. La ciutat es convertí en punt de referència per a tots els grans virtuosos i compositors europeus, com F. Chopin, F. Liszt, C.M. von Weber, R. Schumann, G. Meyerbeer, F. Mendelssohn, M. Glinka o H. Berlioz, els quals la visitaren almenys una vegada. En el camp de la teoria musical i la musicologia, Viena també reuní els millors pensadors, com ara R.G. Kiesewetter, Aloys Fuchs o E. Hanslick. Així mateix cal destacar-hi l’activitat editorial, ja des del final del segle XVIII. Al XIX es crearen editorials com Artaria, Cappi, Spina, Diabelli, Haslinger o Torricella. El 1812 es fundà la Societat d’Amics de la Música amb la intenció de fer arribar la música a totes les classes socials. El 1842, el compositor i director Otto Nicolai organitzà, amb l’orquestra del Hoftheater, una sèrie de concerts -dedicats, els primers, a l’obra simfònica de L. van Beethoven-, que a partir del 1869 s’anomenaren Concerts Filharmònics. L’activitat coral a la Viena del moment també era molt intensa, amb la creació de cors com el Wiener Männer-Gesangverein (1843), el Singverein der Gesellschaft der Musikfreunde (1858) o el Schubertbund. La ciutat fou, a més, un lloc de reunió de virtuosos i pedagogs instrumentals, com C. Czerny, I. Moscheles, H. Ries, J.N. Hummel i F. Liszt. Durant la segona meitat del segle, hi visqueren J. Brahms, A. Bruckner i H. Wolf, tres grans representants de l'ernste musik ('música seriosa'), que havien de lluitar per fer-se escoltar en un ambient en què guanyaven popularitat la música de saló, de ball, els famosos valsos de J. Strauss i l’opereta. El 1898 fou inaugurat el Kaiser-Jubiläum Stadttheater, que més tard rebé el nom de Volkstheater.
El 1900 es creà la Wiener Conzert-Vereinorchester -des del 1932, Wiener Philharmoniker-, i l’any següent fou fundada la Universal Edition, encara avui una de les editorials més importants. L’Òpera de Viena -fundada el 1869- visqué un dels seus millors moments gràcies a G. Mahler, que portà a l’escena de forma brillant òperes de W.A. Mozart, R. Wagner i R. Strauss. El 1907, però, dimití el càrrec de director de l’orquestra per les pressions del públic més conservador. En aquell temps, la ciutat es debatia entre el conservadorisme extrem i les tendències més innovadores, en les quals s’inscrivia l’anomenada Segona Escola de Viena. A. Schönberg, deixeble d’Alexander von Zemlinsky, i els seus alumnes A. Berg i A. Webern n’eren els estrictes integrants, però entre els nombrosos compositors d’avantguarda cal incloure-hi també autors com E. Wellesz, E. Stein, E. Steuermann, R. Kolish, H.E. Apostel o H. Jelinek. El nazisme i la guerra portaren la major part d’aquesta rica generació de músics a l’exili. Malgrat això, Viena continua essent un centre musical de primera magnitud. El 1953, N. Harnoncourt creà el Concentus Musicus de Viena, conjunt instrumental format per membres de l’Orquestra Simfònica de Viena i dedicat a la interpretació de música antiga. La Musikverein, seu de l’Orquestra Filharmònica de Viena, és una de les sales de concerts més importants de la ciutat, i té la seva arrel en la Societat d’Amics de la Música, creada el 1812. Els Petits Cantors de Viena, cor fundat el 1924 i compost només d’infants entre deu i catorze anys, és un dels més cèlebres arreu del món. Entre els diversos festivals celebrats a la ciutat destaquen l’Orgelkunst, en el qual participen organistes d’arreu del món, i el Festival de Jazz i el Festival de Viena, ambdós celebrats durant l’estiu. Els concursos musicals són també nombrosos i abracen camps diversos, com ara el Concurs Internacional de Piano Ludwig van Beethoven, cada quatre anys, el Concurs Internacional Belvedere per a Cantants d’Òpera o el Concurs Internacional per a Compositors de Viena.