Fill d’un pastor, començà a cantar al cor de la parròquia. Graduat en psicologia, començà a exercir com a assistent social, però aviat es dedicà a la música, actuant en clubs de la costa oest dels Estats Units. A mitjan anys seixanta enregistrà un primer disc, que passà desapercebut, i no fou fins el 1975 que amb We Got By, aconseguí reconeixement, que cresqué amb Glow (1976), Look to the Rainbow (1977), Breakin’ Away (1981) i L is for Lover (1986). L’any 1977 feu la seva primera gira mundial. Durant la dècada dels vuitanta esdevingué una figura del pop i del rhythm-and-blues, i guanyà un premi Grammy en cadascuna de les dues categories i també en la de vocalista de jazz.
Després de retirar-se parcialment una temporada, tornà a guanyar-se el públic els anys del tombant de segle amb, entre altres àlbums, Heaven and Earth (1992), Tomorrow Today (2000), All I Got (2002), Accentuate the Positive (2004), Givin’ It Up (2006, amb George Benson), Christmas (2008) i Al Jarreau and the Metropole Orkest: Live (2012). El 1997 publicà l’àlbum recopilatori Best of Al Jarreau. Desenvolupà un estil refinat i virtuós a partir de cantants d’escola bop com Jon Hendricks i Dave Lambert. Les seves extraordinàries capacitats vocal i musical li permeteren abordar projectes de diversa índole amb músics molt diferents.