De nen tocava l’orgue a l’església, mentre es formava musicalment al Conservatori d’Augsburg amb el seu germà, el futur compositor Otto Jochum. El 1922 inicià els estudis de composició i direcció. S. Hausegger, el seu mestre de direcció, l’introduí com a corepetidor a l’Òpera de Munic. Entre el 1926 i el 1929 estudià i treballà a l’Òpera de Kiel, on col·laborà en una cinquantena d’òperes. Després d’un periple que el dugué a Mannheim (1929-30) i Duisburg (1930-32), el 1932 fou nomenat director de l’Orquestra de la Ràdio de Berlín, i dos anys més tard fou reclamat a l’Òpera d’Hamburg i a l’Orquestra Filharmònica de la mateixa ciutat. Després de la Segona Guerra Mundial tornà a Munic, on del 1949 al 1960 dirigí l’Orquestra de la Ràdio de Baviera. El 1953 debutà a Bayreuth amb Tristany i Isolda, fet que representà l’inici de la seva projecció internacional. En 1961-63 conduí l’Orquestra de la Concertgebouw d’Amsterdam, i durant el període 1969-73, l’Orquestra Simfònica de Bamberg. Realitzà nombrosos enregistraments fonogràfics, entre els quals destaca la versió d'Els mestres cantaires de Nuremberg amb D. Fischer-Dieskau i P. Domingo (1976).