Fou colonitzada pels romans el 50 aC i esdevingué bisbat al segle IV. Carlemany l’elevà a seu arquebisbal el 785 i el 1815 entrà a formar part de Prússia. La història musical de Colònia és llarga, ja que ha estat un centre cultural important des de l’època romana. Es conserva una quantitat notable d’escrits teòrics sobre música, entre els quals hi ha un tractat anònim del segle X titulat De organo i alguns exemplars de De institutione musica, de Severí Boeci, i de Theoria, de Johannes de Grocheo. També han arribat nombrosos reculls de cant gregorià. El 1338 es creà la universitat, una de les més antigues d’Europa, i, al principi del segle XVI, sorgí una escola de música teòrica dins de la mentalitat humanista característica del Renaixement. La reforma luterana tingué poca repercussió a Colònia ja que l’Església Catòlica tenia molta força a la ciutat i les noves idees toparen amb una forta oposició per part de la universitat, el capítol catedralici i els jesuïtes. La Companyia de Jesús fou un element molt important en la vida musical de Colònia. La seva escola, Tricoronatum, fundada el 1552, es convertí en un dels centres musicals més actius de la ciutat.
Pel que fa a la música profana, se sap que al segle XV les autoritats de la ciutat contractaven músics perquè toquessin durant recepcions oficials, processons, consagracions i altres actes. Després que Colònia fos elevada al rang de ciutat imperial lliure (1476), les visites de l’emperador que requerien acompanyament musical, esdevingueren freqüents. Colònia fou també un centre important pel que fa a la fabricació d’instruments, especialment llaüts i instruments de teclat. El llaüt fou, pel que sembla, molt popular a la ciutat, ja que es publicaren, al llarg dels segles XVI i XVII nombroses peces dedicades a aquest instrument. No fou fins al segle XVIII, que la vida musical a Colònia prengué força independentment de la catedral i altres centres religiosos. El 1743 nasqué una societat d’amants de la música, la Musikalische Akademie, formada sobretot per músics diletants. L’òpera ja havia fet la seva aparició a la ciutat el 1661, però Colònia no es convertí en un centre operístic important fins al segle XVIII. Al final d’aquest segle arribaren a Colònia òperes d’autors tan significatius com W.A. Mozart i C.W. Gluck. Amb l’arribada de les tropes napoleòniques el 1794 i l’expropiació de béns eclesiàstics, l’hegemonia musical dels centres religiosos arribà a la fi. Les institucions musicals que es crearen a partir d’aquell moment foren de caràcter laic i burgès, com ara la Musikalische Gesellschaft (1812) (Societat Musical) i la Singverein (1820) (Unió Coral). A partir del 1821 se celebrà regularment el Niederrheinisches Musikfest, tant a Colònia com en altres ciutats renanes, i el 1822 nasqué el primer teatre permanent. El 1845 fou creada la Rheinische Musikschule (Escola de Música de Renània), centre que més tard esdevingué el conservatori de la ciutat, una institució encara molt prestigiosa. A partir del 1840 la ciutat es dotà d’un städtische musikdirektor ('director municipal de música'). El més important d’aquests directors, Ferdinand Hiller, que ocupà el càrrec durant trenta-cinc anys (1850-85), feu de Colònia el centre musical de la regió renana i aconseguí que el conservatori, creat el 1850 i que posteriorment esdevingué la Staatliche Hochschule für Musik (Escola Superior Nacional de Música), fos considerat un dels més importants del país. Al segle XIX sorgiren nombroses formacions orquestrals, com ara el Quartet Hartmann o el Quartet Gür zenich, i també el nou teatre, el Theater in der Glockengasse.
Al començament del segle XX, Colònia s’havia convertit en un punt de referència per als músics. La ciutat tenia fama per les seves nombroses corals, sobretot masculines i, el 1915, per exemple, disposava de més de cinquanta cors. Uns quants anys més tard aparegué la Gesellschaft für Neue Musik (Societat per la Nova Música), dirigida pel compositor Heinrich Lemacher, que destacà com a impulsor de les avantguardes compositives. A partir del 1926, la ràdio de Colònia anà adquirint també un paper important com a centre de difusió dels músics més innovadors, com ara K. Stockhausen, H. Eimer i G. Ligeti. El 1951 la ràdio contribuí a la creació d’un estudi de música electrònica, Studio für Neue Musik. Colònia ha continuat sent una ciutat especialment oberta a les avantguardes musicals. Un exemple d’aquesta tendència és l’estrena, el 1965, de l’òpera de B.A. Zimmermann, Die Soldaten, al Grosses Haus, obra que fou motiu d’escàndol en el seu moment. Un dels conjunts orquestrals més prestigiosos de la ciutat és la formació Musica Antiqua de Colònia, fundada el 1973 per Reinhard Goebel i dedicada a la interpretació de música dels segles XVII i XVIII.