Cal buscar-ne els precedents més immediats en la iniciativa que, uns quants anys abans, havia tingut F.P. Lachner quan, en els entreactes dels ballets que es representaven al Teatre d’Òpera de la Cort, dirigia les simfonies de Beethoven interpretades per l’orquestra del teatre. Fins llavors Viena no havia disposat d’una orquestra de concerts permanent. El que caracteritzà la nova formació fou la professionalitat dels seus membres, que havien d’estar contractats pel Teatre d’Òpera de la Cort, i la seva independència, tant artísticament com administrativa. Per desavinences amb la manera democràtica com es prenien les decisions, el 1847, O. Nicolai abandonà l’orquestra, que fins el 1860, any en què es refundà sota la direcció de C. Eckart, visqué un període de decadència. Eckart instituí els Concerts Filharmònics, audicions de subscripció que han continuat ininterrompudament fins a l’actualitat. El mateix 1860 O. Desoff es convertí en el primer director titular, càrrec que conservà fins el 1875. El succeïren H. Richter (1875-82 i 1883-98), W. Jahn (1882-83), G. Mahler (1898-1901), J. Hellmesberger (1901-03), F. Weingartner (1908-27), W. Furtwängler (1927-30) i C.H. Krauss (1930-33). Des del 1933 l’orquestra ha funcionat amb directors convidats, entre els quals cal destacar R. Strauss (1906-44), A. Toscanini (1933-37), E. Kleiber, O. Klemperer, C. H. Krauss, D. Mitropoulos, G. Solti, C. Abbado, C. von Dohnányi, L. Maazel, Z. Mehta o R. Muti. K. Böhm i H. von Karajan en foren directors llorejats, i L. Bernstein, director llorejat associat. El 1870 s’inaugurà la que des de llavors n’ha estat la seu, el Musikverein. H. Richter situà la formació entre les orquestres reconegudes internacionalment, i de la seva època destaquen les col·laboracions amb R. Wagner, G. Verdi o J. Brahms. La Filharmònica tocà per primera vegada fora d’Àustria amb Mahler, tradició que quedà instituïda el 1922, any a partir del qual realitzà grans gires mundials. Altres etapes brillants de l’orquestra corresponen als anys de direcció de Toscanini i de Furtwängler. A més dels concerts d’abonament que anualment ofereix al Musikverein, la Filharmònica de Viena fa gires mundials, participa en els principals festivals internacionals (és l’orquestra del Festival de Salzburg) i interpreta el conegut Concert de Cap d’Any, retransmès a tot el món des de la sala daurada del Musikverein.