Nasceu em Mumbai (antiga Bombaim), na Índia, em 1936, no mesmo ano da fundação da Orquestra Filarmônica da Palestina que, após a independência do Estado de Israel, tornou-se a Orquestra Filarmônica de Israel.

Cresceu num ambiente musical. Seu pai Mehli Mehta fundou a Orquestra Sinfônica de Bombaim e foi diretor musical da American Youth Symphony em Los Angeles. Seu primeiro interesse foi a medicina, mas aos 18 anos decidiu-se pela música e ingressou na Academia de Música de Viena. Sete anos depois regeu as Filarmônicas de Viena e Berlim e rapidamente consolidou a carreira de maestro nas salas de concerto e nas casas de ópera.

Entre 1961 e 1967 foi diretor musical da Sinfônica de Montreal e em 1962 assumiu a direção musical da Filarmônica de Los Angeles, onde permaneceu por dezesseis anos.

Seu vínculo com a Orquestra Filarmônica de Israel iniciou-se em 1969, quando foi nomeado consultor musical. Tornou-se seu diretor musical em 1977 e de 1981 em diante diretor musical vitalício. Entre concertos, gravações e turnês, regeu milhares de apresentações nos cinco continentes com a Filarmônica de Israel. Desde 1985 também é consultor musical e maestro principal do Maggio Musicale Fiorentino, o festival de verão de Florença, na Itália. E em setembro de 1998 completou seu quinto ano como diretor musical da Ópera Estatal Bávaro em Munique.

Durante treze anos, a partir de 1978, regeu a Filarmônica de Nova York, da qual foi diretor musical, por mais de mil concertos.

Recebeu dezenas de prêmios e distinções em vários países. Em Israel é Doutor Honoris Causa das universidades Hebraica de Jerusalém, Tel Aviv e do Instituto Weizmann. A Universidade Hebraica deu seu nome e de seu pai, o maestro Mehli Mehta, a uma das alas do Departamento de Musicologia. Em 1991 recebeu um prêmio especial na cerimônia de apresentação do Prêmio Israel e o Prêmio da Fundação Wolf de Música de 1995-6.

É cidadão honorário de Florença e Tel Aviv e membro honorário da Ópera de Viena desde 1997, da Ópera Estatal Bávara desde 2006 e da Gesellschaft der Musikfreunde Wien desde 2007. Conquistou o título de Maestro Honorário nas seguintes orquestras: Filarmônica de Viena (2001), Filarmônica de Munique (2004), Filarmônica de Los Angeles (2006), Teatro del Maggio Musicale Fiorentino (2006) e a Orquestra Estatal da Bavária (2006). Em 2008 foi homenageado pela família imperial japonesa com o Praemium Imperiale. Em setembro de 2006 recebeu o prêmio "Una vita nella musica - Arthur Rubinstein" no Teatro La Fenice em Veneza. Em dezembro de 2006 recebeu o Prêmio Dan David, ano em que publicou sua autobiografia Die Partitur meines Leben: Erinnerungen (As partituras da minha vida – memórias) na Alemanha e em Israel. Em maio de 2012 a Academia Russa de Arte concedeu-lhe o título de Doutor Honoris Causa e em outubro recebeu a Medalha de Distinção das mãos do presidente israelense Shimon Peres.

Zubin Mehta continua a apoiar a descoberta e promoção de talentos musicais por todo o mundo. Juntamente com seu irmão Zarin, é co-presidente da Fundação Musical Mehli Mehta em Mumbai, onde mais de 200 crianças recebem educação musical.