D’ètnia dinka, restà orfe a nou anys. Gràcies a l’ajut d’uns familiars que l’acolliren pogué estudiar. Després d’un intent frustrat d’unir-se a la guerrilla (1962), guanyà una becà i anà als EUA, on es graduà en econòmiques a la Universitat de Grinnell (Iowa) el 1969. Posteriorment féu estudis d’agricultura a la Universitat de Dar es Salaam, tornà al Sudan i s’incorporà a la guerrilla cristiana i animista del Sud contra el Govern islàmic del Nord. El 1983, amb Salva Kiir i altres líders, fundà el Moviment per a l’Alliberament Popular del Sudan (SPLM), del qual esdevingué líder. Després de més de vint anys de lluita armada, al gener del 2005 signà un acord de pau amb el president Umar al-Bashir, pel qual esdevenia primer vicepresident del Sudan i president del Sudan del Sud. L’acord també preveia la celebració d’un referèndum d’autodeterminació. Garang morí en un accident d’helicòpter sis mesos després d’haver accedit als càrrecs, en els quals fou substituït per Salva Kiir.