Ja als segles VI i VII fou un centre important de la litúrgia visigòtica i alguns dels seus bisbes més rellevants d’aquesta època, com sant Ildefons, sant Julià o sant Eugeni de Toledo, prengueren part activa en la composició de les melodies del culte. La invasió dels àrabs, el 711, obligà el cristianisme a entrar en la clandestinitat, per la qual cosa al sud de la Península es perderen gran part de les tradicions musicals religioses anteriors a l’ocupació sarraïna. Malgrat això, sembla que a Toledo quasi tots els documents musicals visigòtics que han pervingut foren copiats precisament durant aquest període de dominació àrab. Aquest patrimoni musical visigòtic, conservat amb zel i dificultats pels cristians durant tres segles, fou abolit pel rei Alfons VI, que reconquerí la ciutat el 1085. Així doncs, la Lex Toletana, fruit del concili que s’hi havia celebrat el 633, fou substituïda per la Lex Romana, imposada per l’arquebisbe Bernard de Cluny. Algunes parròquies obtingueren permís per a mantenir la litúrgia antiga però, lentament, la influència romana anà desfigurant el cant primitiu. Sota el regnat d’Alfons X el Savi es compongueren les Cantigas de Santa Maria, una de les còpies de les quals prové de Toledo.
A la catedral encara es conserven trenta-cinc còdexs polifònics, xifra que demostra la importància de la seu toledana en la història de la música hispana. En aquests còdexs apareixen obres dels autors flamencs més destacats del segle XV i de diversos autors hispànics com R. de Ceballos, F. Guerrero o C. de Morales. Durant el segle XVI, músics notables com A. López, J. de Peñalosa o F. de Peraza ocuparen el càrrec d’organista de la catedral. La llista dels mestres de capella també és molt reveladora de la importància de la seu: Fernán Sanchez (1460), C. de Morales (1545-47), B. de Quevedo (1553-63), G. de Boluda (1580-93), A. Lobo (1593-1604), A. de Tejeda (1604-17), J. del Risco (1617-44), L. de Garay (1644), T. Micieres (1650-62), J. de Padilla (1663-73), P. Ardanaz (1674-1706), Joan Bonet de Paredes (1706-10), M. de Ambiela (1710-33), J. de Caselles (des del 1733), Francesc Juncà (1780-93), C.J. Ruano (1793), Juan Navasa (a partir del 1804), Cesáreo Bustillo (des del 1832), Ciriaco Jiménez Hugalde (d’ençà del 1865). L’any 1879 es construí el Teatro de Rojas, escenari per als espectacles de sarsuela, dansa i concerts, on la interpretació de la música era a càrrec d’una petita orquestra fundada per Gabriel Melitón Baños. El Conservatori de Toledo, que no es creà fins el 1980, porta el nom de Jacinto Guerrero, el conegut compositor de sarsueles originari d’Ajofrín, prop de la ciutat. Des del 1998 a Toledo se celebra un festival de jazz, on han actuat figures com el saxofonista Grant Stewart o els pianistes Ives Brouki i Fabio Miano.