A Orquestra Filarmônica de Israel foi fundada em 1936 pelo violinista Bronislav Huberman. Durante três anos Huberman viajou pela Europa Oriental e Alemanha estimulando muitos entre os melhores músicos do continente, que haviam perdido seus empregos por causa do antissemitismo nazista, a emigrarem para Israel.
A Orquestra Filarmônica da Palestina fez seu concerto inaugural no dia 26 de dezembro. Regida pelo lendário Arturo Toscanini, ganhou fama imediata como a orquestra dos solistas, pela qualidade extraordinária de seus integrantes. Após a independência do Estado de Israel em 1948, foi rebatizada como Orquestra Filarmônica de Israel. Atualmente, está entre as melhores orquestras do mundo e é o maior patrimônio cultural de Israel.
Como embaixatriz cultural do Estado de Israel, a orquestra fez inúmeras turnês por todo o mundo, incluindo países onde Israel sequer possuía representação diplomática. Visitou praticamente todas as salas mais qualificadas dos grandes centros urbanos dos Estados Unidos, Europa Ocidental, Rússia, Polônia, Japão, Austrália e América Latina.
Em Israel, realiza aproximadamente 150 concertos anuais, distribuídos entre Tel Aviv, Jerusalem e Haifa, entre outras cidades. Suas séries possuem mais de 30.000 assinantes, um volume extraordinário quando confrontado com o de outras grandes orquestras internacionais que cresce ainda mais de importância tendo em vista a pequena população de Israel.
Entre os maestros que a regeram estão alguns dos maiores do século 20, como Arturo Toscanini, Leonard Bernstein, Sir John Barbirolli, Sergei Koussevitsky, Zubin Mehta, Eugene Ormandy e Paul Paray. Assim como, entre os solistas, estão os maiores intérpretes de nosso tempo, como os pianistas Arthur Rubinstein, Claudio Arrau, Vladimir Ashkenazy, Daniel Barenboim, Rudolf Serkin e Lang Lang; violinistas como Itzhak Perlman, Isaac Stern, Nathan Milstein, Pinchas Zukerman, Shlomo Mintz, Maxim Vengerov e Joshua Bell; violoncelistas como Pablo Casals, Yo Yo Ma, Gregor Piatigorsky, Paul Tortelier, André Navarra, Jacqueline du Pré, Antonio Meneses e Mstislav Rostropovich; o flautista Jean-Pierre Rampal; e cantores como Montserrat Caballé, Leontyne Price, Jessie Norman, Placido Domingo e Luciano Pavarotti.
Em 1968, o Maestro Zubin Mehta foi nomeado conselheiro musical e em 1977 tornou-se diretor artístico. Onze anos depois seu cargo passou a ser vitalício.
Leonard Bernstein, que sempre manteve laços estreitos com a orquestra, desde a sua estreia em 1947, tornou-se regente honorário em 1988.
Durante a temporada de 1991, o Maestro Kurt Masur foi nomeado principal regente convidado honorário, devido ao grande sucesso do seu trabalho à frente da orquestra.
A Orquestra Filarmônica de Israel tem permanentemente se enriquecido com novos membros que emigraram para Israel, principalmente desde a ex-União Soviética, de onde vieram grandes instrumentistas de cordas. Atualmente mais da metade dos músicos compõe-se de israelenses nativos que tiveram educação musical em Israel.
A partir da temporada 2011-2012, o maestro italiano Gianandrea Noseda tornou-se principal maestro convidado da Orquestra Filarmônica de Israel.