Arturo Toscanini en dirigí el concert inaugural. L’any 1946 passà a denominar-se Orquestra Filharmònica de Palestina, i dos anys més tard adoptà la denominació actual. El seu primer director permanent fou Zubin Mehta, que el 1968 fou contractat com a conseller musical, i el 1977 passà a ser-ne el director musical, càrrec que se li atorgà a perpetuïtat el 1981. Fins aquell moment, l’orquestra havia estat dirigida per mestres contractats per a determinades gires o sèries de concerts, com ara Carlo Maria Giulini, William Steinberg (1936-38), Leonard Bernstein (1947-49), Charles Dean Dixon (1950-51) i Jean Martinon (1958-60). El 1988 Bernstein fou nomenat director llorejat, i el 1992 Kurt Masur esdevingué director convidat honorari de l’orquestra. La Filharmònica d’Israel ofereix una temporada de concerts de subscripció que inclou les Sèries de Concerts Joves; a més, participa amb audicions en el projecte Arts per al poble i ofereix concerts als soldats de les forces armades d’Israel. Cal destacar la seva contribució a la integració dels músics immigrants que han arribat al país els darrers anys, molts dels quals formen part de la plantilla. Existeix una versió Junior de l’orquestra, que prepara els futurs intèrprets de la formació. Així mateix, els components del Nou Quartet Israel, fundat el 1959, són membres de l’Orquestra Filharmònica d’Israel.