Després d’uns primers anys d’incertesa, el 1887 H. Wolff es convertí en mànager de l’orquestra i contractà H. von Bülow, considerat el millor director del moment i també el més modern, per tal que es posés al capdavant de la formació. Bülow establí les bases d’un estil en la interpretació que ha caracteritzat la Filharmònica de Berlín al llarg de la seva història. En aquesta època, H. Levi, H. Richter, F. Mottl, J. Brahms, E. Grieg, G. Mahler o R. Strauss, entre d’altres, actuaren com a directors convidats. El 1895 A. Nikisch succeí von Bülow i es mantingué en el càrrec durant vint-i-set anys. En aquesta etapa, el repertori de l’orquestra s’amplià, i es dedicà especial atenció a la música de P.I. Cajkovskij, H. Berlioz o F. Liszt, sense oblidar contemporanis seus com R. Strauss o G. Mahler. Alguns dels solistes que actuaren en aquesta època foren F. Busoni, A. Cortot, E. Fischer, J. Thibaud, A. Busch o P. Casals. Posteriorment, el 1923 W. Furtwängler succeí Nikisch i potencià el repertori clàssic i romàntic. Tot i que destacà en les seves brillantíssimes interpretacions de L. van Beethoven, J. Brahms i A. Bruckner, també inclogué en els seus programes música de S. Prokof’ev, P. Hindemith o A. Schönberg. El primer concert que tingué lloc després de la Segona Guerra Mundial fou dirigit per L. Borchard. La seva mort sobtada feu que un aleshores desconegut S. Celibidache es posés al capdavant de la formació. El 1952 Furtwängler tornà com a director titular fins a la seva mort, el 1954, moment en què els músics de l’orquestra elegiren per al càrrec H. von Karajan, que l’exercí durant trenta-cinc anys. Molt aviat la Filharmònica de Berlín superà les limitacions de la política del règim socialista i reprengué les seves actuacions arreu del món. L’any 1963 s’inaugurà la seva nova seu: la sala Philharmonie a la Kemperplatz, dissenyada per H. Scharoun, a la qual s’afegí, el 1987, la sala de música de cambra. El 1989, en renunciar Karajan el seu càrrec, l’orquestra elegí C. Abbado, que en prengué possessió la temporada 1990-91. Amb ell començà una època marcada pel predomini de la música contemporània, sense deixar completament de banda, però, el repertori romàntic i clàssic. L’any 1998 Abbado anuncià que la temporada 2001-02 seria la darrera que dirigiria la formació, els membres de la qual escolliren com a successor S. Rattle, que s’hi incorporà durant la temporada 2002-03.