Fill d’un cabdill xosa del clan dels Madiba (nom amb el qual fou també informalment conegut), l’any 1944 s’incorporà a l’African National Congress (ANC), del qual esdevingué aviat un dels líders. Començà a cursar dret a la Universitat de Fort Hare, però en fou expulsat per liderar una revolta estudiantil. Acabats els estudis per correspondència, el 1952 fou, amb Oliver Tambo, el primer advocat de raça negra a obrir un despatx a Sud-àfrica. Sotmès a freqüents detencions i mals tractes per les autoritats per la seva activitat contrària al règim segregacionista sud-africà, l’apartheid, el 1956 fou acusat d’alta traïció, càrrec que li fou retirat el 1960. Aquest any, però, després de la massacre de Sharpeville sobre 69 activistes antiracistes i de la subsegüent prohibició de l’ANC, renuncià a la via no violenta que havia defensat fins aleshores i fou cofundador de la branca militar de l’organització, Umkhonto we Sizwe (’llança de la nació’), tot i que més endavant tornà a advocar pels mètodes pacífics.
El 1962 fou detingut i condemnat per sabotatge a cinc anys de presó, i el 1964, en un nou procés en el qual criticà obertament l’apartheid, a cadena perpètua. Durant els vint-i-set anys de captiveri, que passà en tres penals diferents, esdevingué un símbol de la lluita antiracista, i la seva figura es projectà internacionalment. La pèrdua gradual de suport del bloc occidental a Sud-àfrica cap a la fi de la Guerra Freda afavorí que des del 1985 hom li oferís diverses rebaixes de la pena, que sempre rebutjà. El seu alliberament incondicional al febrer del 1990 assenyalà la fi del règim segregacionista. L’any següent substituí Tambo en la presidència de l’ANC i inicià una transició democràtica marcada pel seu carisma, que posà al servei de la reconciliació. Abolit oficialment l’apartheid (1992), el 1993 li fou atorgat el premi Nobel de la pau, que compartí amb Frederik De Klerk, darrer president d’aquest règim. En les primeres eleccions parlamentàries no racials (abril del 1994), l’ANC guanyà amb tres quartes parts dels vots i, després de ser elegit president, Mandela formà un govern d’unitat nacional amb De Klerk com a vicepresident i amb algunes carteres dirigides per ministres afrikàners.
Fins a la fi del seu mandat i la seva retirada (1999) emprà la seva autoritat moral per a formar un consens amb el qual construir una nova Sud-àfrica, marcada per enormes desigualtats socioeconòmiques i rivalitats ètniques, i evitar una guerra civil, sense oficialitzar, però, una amnèsia col·lectiva respecte a l’apartheid. Amb aquesta finalitat impulsà un Comitè per a la Veritat i la Reconciliació presidit per l’arquebisbe Desmond Tutu, de caràcter més moral que no pas penal (1996). El 1958 es casà amb l’activista Winnie Mandela (1936-2018), de qui es divorcià el 1996 pels mètodes coercitius que emprava en l’acció política. Considerat de manera pràcticament unànime dins i fora del seu país com un exemple d’integritat moral, pragmatisme, generositat i absència de rancor, la seva mort es produí després de més d’un any de recaigudes a causa d’un estat de salut de gran gravetat, i l’homenatge a la seva persona i els valors que representava fou general arreu del món.
A més del Nobel, rebé altres premis, com ara el Jawaharlal Nehru per l’entesa (1980), el Bruno Kreisky de drets humans (1981), el premi de la Fundació Comín de Barcelona (1986), el premi Sakharov del Parlament Europeu 1988), el premi Lenin de la pau (1990) i la Medalla Presidencial de la Llibertat dels EUA (2002), entre molts d’altres. A títol pòstum, el 2014 l’Ajuntament de Barcelona li atorgà la Medalla al Mèrit Cívic per la seva aportació a la projecció de la ciutat durant els Jocs Olímpics de Barcelona. En 1999-2001 formà part del grup de mediadors que aconseguí els acords d’Arusha, per posar fi al conflicte hutu-tutsi. És autor de les autobiografies No Easy Walk to Freedom (1965), Long Walk to Freedom (1994) i The Struggle Is My Life (1986).