El seu pare, de qui rebé les primeres lliçons musicals, era violoncel·lista a Wuppertal. A vint-i-tres anys anà a perfeccionar els seus coneixements amb Enrico Mainardi, el qual despertà l’interès de Palm per l’obra de Max Reger. Formà part també de les orquestres de la Ràdio d’Hamburg i de la Ràdio de Colònia. Així mateix, fou professor i director de la Musikhochschule de Colònia i intendant de la Deusche Oper de Berlín (1976-81), i fou president de la Societat Internacional per a la Música Contemporània (1982-88) i de la Deutsch-Französischer Kulturrat (1988-2000). Totes aquestes activitats foren paral·leles al desenvolupament d’una intensa carrera de solista, en la qual destacà especialment com a intèrpret de música del segle XX. Estrenà obres de compositors com Iannis Xenakis, Bernd Alois Zimmermann, Mauricio Kagel, Krzysztof Penderecki o György Ligeti.