Estudià amb A. Merikanto a l’Acadèmia Sibelius de Hèlsinki en el període comprès entre el 1948 i el 1952, i més tard, a partir del 1955, amb V. Persichetti a la Juilliard School. També estudià al Tanglewood Music Center, on fou alumne de R. Sessions i A. Copland. Professor de l’Acadèmia Sibelius de Hèlsinki d’ençà del 1976, l’obra musical de Rautavaara es pot dividir en diferents etapes, resultat de l’adhesió a diferents llenguatges musicals, com la música culta russa, el neoclassicisme de P. Hindemith i el postserialisme, alguns dels estils presents en les seves composicions. Del seu extens catàleg destaca The True and False Unicorn (1971), per a orquestra, cor i cinta, considerada una de les seves millors obres. El 2000, l’Orquestra Filharmònica de Filadèlfia estrenà la vuitena simfonia de Rautavaara, obra que aquesta mateixa orquestra havia encarregat al compositor. Rebé nombrosos guardons, com ara el Premi Finlàndia (1997).