S’inicià al piano a tres anys, i quan en tenia set ja feia recitals. Durant els anys escolars tocà professionalment. El 1962 estudià becat al Berklee College of Music de Boston, on residí durant cinc anys fins que es traslladà a Nova York per a tocar durant un temps als Jazz Messengers d’Art Blakey. La tècnica impecable, l’intens lirisme i la total implicació física amb l’instrument, foren qualitats per les quals obtingué reconeixement durant la seva estada, del 1966 al 1969, en el grup del saxofonista Charles Lloyd. Seguidament ocupà durant dos anys el lloc de teclista elèctric en el conjunt de Miles Davis. Tocà i enregistrà amb el seu propi grup, que incloïa Charlie Haden, Paul Motian i Dewey Redman. El 1972, començà a oferir concerts solistes de piano, que consistien en dues llargues improvisacions de trenta a quaranta-cinc minuts cadascuna. L’enregistrament de The Köln Concert (1975) tingué una extraordinària difusió, i convertí Jarrett en l’únic artista de jazz dels anys setanta que obtingué gran popularitat sense fer ús d’instruments elèctrics. Constituí un quartet europeu amb Jan Garbarek. Els anys vuitanta tornà a la interpretació de temes standard formant un trio amb Gary Peacock i Jack DeJohnette, amb qui continuà treballant durant dues dècades. Ha enregistrat improvisacions a l’orgue de tubs, i ha tocat repertori clàssic per a piano. Les seves composicions inclouen obres per a grup de cambra i orquestra simfònica, amb solos improvisats.