Per la seva posició, prop del Sàhara, ha estat sempre un punt de partença de caravanes. Fundada per amazics, probablement tuàregs, islamitzats (~1077), fou aviat un florent centre comercial (or, sal i esclaus) i cultural de l’islam africà. Cobejada, a causa de la seva situació, per diversos imperis veïns (annexada al regne de Mali el 1336, a l’imperi Songhai el 1468, diverses incursions tuàregs, etc.), a partir de l’expedició marroquina al Sudan (1591) depengué dels soldans del Marroc fins que els governadors militars de la plaça anaren rompent a poc a poc els lligams amb el poder central. Al començament del segle XVIII inicià la decadència, tant econòmica com cultural, i tornà a passar a mans dels tuàregs (1792). L’abolició de l’esclavitud donà el cop definitiu a la seva importància comercial. El tractat francobritànic del 1890 l’assignà a França, que l’ocupà fins el 1894.
La florida màxima de la ciutat com a centre cultural i religiós islàmic es produí al final del segle XVI quan, entre el 1570 i el 1583, el cadi al-Aqib impulsà la reconstrucció i ampliació de les mesquites de Sankoré, Djingareyber i Sidi Yahya, entre altres monuments, entre els quals hi ha una quinzena de mausoleus. La universitat i mesquita de Sankore comprenia unes 180 escoles alcoràniques i acollia uns 25.000 estudiants. Hom estima en uns 700.000 els manuscrits islàmics distribuïts entre les diverses biblioteques i col·leccions privades. El 1988 fou declarada patrimoni de la humanitat per la UNESCO. Objecte de diversos plans de rehabilitació i conservació, la seva situació a l’Estat de Mali n’ha accentuat la precarietat, per tal com ha esdevingut un centre dels enfrontaments entre els tuàregs del N i el govern. En el conflicte civil que es desencadenà a Mali al març del 2012, entre aquest mes i el gener del 2013, la ciutat caigué en mans de faccions islamistes radicals, les quals destruïren una part important del patrimoni arquitectònic i literari (manuscrits), que qualificaren de sacríleg.