Es formà a la Juilliard School de Nova York, estudis que hagué d’interrompre en ser mobilitzat durant la Segona Guerra Mundial, i al Berkshire Music Center de Tanglewood. Del 1947 al 1950 dirigí diversos cors i conjunts de vent i a partir del 1948 inicià la seva col·laboració amb Igor Stravinsky, del qual esdevingué amic, biògraf i col·laborador fins a la mort. Es repartí la direcció de nombrosos concerts amb el músic rus i enregistrà diverses obres dodecatòniques, en les quals s’arribà a especialitzar, i es posà també al capdavant de l’enregistrament de l’obra simfònica. Estrenà títols de Paul Hindemith, Edgar Varèse i dirigí el primer enregistrament integral de l’obra d’Anton Webern. Publicà diverses obres relacionades amb Stravinsky, de les quals destaca especialment la dedicada a les converses amb el compositor i una antologia de la seva correspondència (1982-84), obres que, tanmateix, despertaren crítiques per suposats errors i poca objectivitat. Exercí la crítica musical i el 1989 publicà Small Craft Advisories.