S'interessà per aquest gènere des de ben jove, estimulat pel seu pare, pianista de jazz aficionat. Estudià clarinet i saxo contralt abans d’optar pel saxo tenor com a primer instrument. Un cop graduat a la Cheltenham High School (1967), s’inscrigué a la Universitat d’Indiana i es traslladà a Nova York, ciutat on de seguida s’integrà en diverses formacions musicals i destacà com a solista. Cofundà Dreams (1970), una banda que fusionava el jazz i el rock, tocà amb el seu germà trompetista en el quintet d’Horacio Silver (1975-82) i en la formació Brecker Brothers Band, més partidària de la fusió jazz-funk. Inspirà durant anys jam-sessions, i formà part del grup Steps Ahead, amb Mike Mainieri. Durant les dècades de 1970 i 1980, tocà i enregistrà temes i àlbums amb grans músics, entre d’altres, Eric Clapton, Chick Corea, George Benson, Paul Simon, Frank Sinatra, Bruce Springsteen i Frank Zappa. El 1987 produí el seu primer àlbum en solitari. Guanyà onze premis Grammy i de la seva obra discogràfica destaquen els discos dels anys noranta Don't Try This at Home, Now You See It... Now You Don't, Out of the Loop, Tales from the Hudson, Nearness of You: The Ballad Book, i l’últim disc compost de temes originals propis i enregistrat poc abans de morir, Pilgrimage (2007).