Fill del cap de la influent tribu paixtu Popalzai, el qual fou membre del parlament instaurat pel rei Mohammar Zahir Shah (1964-73). Estudià a Simla (Índia), i en 1980-89 s’uní als mujaidins en la lluita contra els soviètics a l’Afganistan. Fou adjunt del ministre d’afers estrangers (1992-94). El 1996 fugí al Pakistan, des d’on organitzà la guerrilla contra el règim talibà, que probablement féu assassinar el seu pare. Amb l’enderrocament dels talibans (novembre del 2001), tingué un paper destacat en les conferències de Bonn per a dissenyar el futur polític del país i en la conferència de Tòquio del 2002 per a aconseguir fons destinats a la reconstrucció.
Al juny del 2002 fou elegit per la Loia Jirga (“parlament”) cap del govern provisional. Sobrevisqué a diversos atemptats i aconseguí mantenir una fràgil unitat del govern malgrat la contínua violència faccional. Al setembre del 2004 fou elegit president del país en les primeres eleccions democràtiques. Tot i gaudir del suport d’Occident, l’empitjorament de la situació a l’Iraq i la consegüent concentració de recursos en aquest conflicte comportà un creixent afebliment de la seva posició i un augment de la insurgència talibana, fins el punt que el control efectiu del país per part del seu govern arribà a reduir-se considerablement, situació que denuncià reiteradament davant dels seus aliats. Diverses operacions antiterroristes de les forces internacionals que causaren nombroses víctimes civils, a més, contribuïren també a minar la seva credibilitat davant la població afganesa. D’altra banda, la tensió amb el Pakistan anà en augment, i Karzai mateix acusà el govern d’aquest país d’inhibir-se en la lluita contra la insurgència, que té les seves bases en territori pakistanès. A partir del setembre del 2008, tingué lloc un augment d’efectius nord-americans i aliats, com també un acord antiterrorista signat al desembre amb el cap de govern pakistanès, Asif Ali Zardari.
Des del gener del 2009, el compromís del nou president nord-americà, Barack Obama, de prioritzar l’estabilització de l’Afganistan en la lluita contra el terrorisme semblaren marcar un nou tombant en la seva posició, però la seva legitimitat fou qüestionada novament arran de la celebració de les eleccions presidencials a l’agost del 2009, en les quals, tot i ser el candidat més votat segons els resultats oficials, rebé acusacions de frau massiu a les quals donà suport l’ONU, que l’instà a repetir els comicis. Tanmateix, la retirada d’Abdul·lah Abdul·lah, el seu principal rival, poc abans de la celebració de les eleccions al·legant que no es donaven les condicions per a que no es repetíssin les irregularitats, comportà el retorn automàtic de Karzai a la presidència.
Al novembre del 2011 aconseguí el suport del parlament per a negociar una associació militar amb els EUA que es mantindria més enllà del 2014, data de retirada total de les forces aliades. Mentrestant, al juny del 2013 l’OTAN transferí a l’exèrcit afganès el control íntegre de la seguretat, i al llarg del 2014 completà la retirada de les seves forces. Des del 2008 ha dut a terme negociacions secretes amb els talibans, amb l’objectiu de pactar un acord de pau, negociacions en les quals també han estat involucrat el govern pakistanès. Havent complert els màxim de dos mandats consecutius establerts constitucionalment, es retirà després de les eleccions del 5 d'abril de 2014. Fou succeït el 29 de setembre per Ashraf Ghani.