El primer autor que utilitzà el terme com a nom per a una composició fou F. Liszt, l’any 1854 (Symphonische Dichtung), per a referir-se a Tasso (obra composta cinc anys abans). Posteriorment, ell mateix generalitzà el nom per a dotze de les seves obres orquestrals, totes elles amb un títol derivat de la literatura. El poema simfònic representa una de les manifestacions més importants de la músicaprogramàtica, i durant la segona meitat del segle XIX molts compositors escriviren obres del gènere, encara que de vegades amb altres denominacions (R. Strauss, un dels més importants creadors de poemes simfònics, preferia anomenar-los tondichtung, ’poema tonal'). Hi ha obres anteriors a les de Liszt que es poden entendre com a precursores del gènere (les obertures de L. van Beethoven com Coriolano o Egmont, o les de F. Mendelssohn com Somni d’una nit d’estiu o Les Hèbrides).
Els dotze poemes simfònics de Liszt s’inspiren en fonts molt diverses i utilitzen tècniques de transformació temàtica anàlogues al leitmotiv wagnerià: els temes tenen significats concrets i el significat programàtic de cada obra es fa palès per les seves relacions i les manipulacions a què són sotmesos. És difícil assegurar que hi ha una diferència entre aquestes obres i les dues simfonies de Liszt (Faust i Dante) amb les quals comparteixen la major part de característiques. Les majors dimensions i la divisió en moviments són, en últim extrem, la justificació per a considerar ’poemes simfònics’ les primeres i ’simfonies’ les últimes. De la mateixa manera, altres simfonies del segle XIX (la Simfonia fantàstica d’H. Berlioz, per exemple) poden formar part tant de la història de la simfonia com del poema simfònic.
Alguns dels compositors de poemes simfònics més destacats de la darrera part del segle XIX són B. Smetana (La meva pàtria, cicle de sis obres), P.I. Cajkovskij (Francesca da Rimini), A. Borodin (A les estepes de l’Àsia central), N. Rimskij-Korsakov (Šekherezada, 'suite simfònica'), P. Dukas (L’apprenti sorcier, anomenat Scherzo en la partitura), C. Franck (Le chasseur maudit), etc. Al tombant dels segles XIX-XX sobresurten les obres de R. Strauss (Així parlà Zaratustra, Una vida heroica) i les de J. Sibelius (Finlàndia, Tapiola). La composició simfònica en forma lliure i amb significat programàtic estigué llavors tan generalitzada, que hi ha obres que semblen reunir les condicions pròpies d’un poema simfònic però que no acostumen a rebre aquesta denominació (C. Debussy: La mer). En altres casos, la música d’alguns ballets és tan rica i elaborada que s’han imposat en el repertori com a obres autònomes i són en certa manera poemes simfònics (Debussy: Jeux; M. Ravel: La valse; I. Stravinsky: L’ocell de foc).
En principi, i per definició, el poema simfònic és una obra per a orquestra, però en ocasions es troben obres de cambra (l'Idil·li de Sigfrid, de Wagner, Nit transfigurada, d’A. Schönberg) de característiques semblants. El poema simfònic està especialment vinculat a la música del segle XIX i de les primeres dècades del XX. Amb tot, moltes obres de la darrera part del segle XX que no porten de cap manera aquest nom hi presenten alguns trets comuns, pel fet de ser peces orquestrals de dimensions considerables regides per l’expressió d’una idea que, en obres com Atmosphères, de G. Ligeti, o Répons, de P. Boulez, és directament estructural i no literària.