Membre del grup karanga de l’ètnia shona, es formà a l’antiga Rhodèsia, Natal i Johannesburg (Sud-àfrica), on mantingué els primers contactes amb els líders del Congrés Nacional Africà (ANC). Treballà per als Ferrocarrils de Rhodèsia, i el 1951 s’havia convertit en el líder del sindicat dels treballadors negres del ferrocarril al país. L’any 1957 fou elegit president de l’ANC, la principal organització nacionalista negra a Rhodèsia. L’any 1961 fundà el ZAPU (Zimbabwe African People’s Union). Empresonat entre el 1964 i el 1974, posteriorment viatjà per Àfrica i Europa per promoure l’objectiu del ZAPU de formar un govern de majoria negra a Rhodèsia. Contribuí a la lluita de les guerrilles contra el govern blanc de Rhodèsia, i el 1976 el seu grup s’uní a les forces del Zimbabwe African National Union (ZANU) que dirigia Robert Mugabe per crear el Front Patriòtic. Després que el govern blanc de Rhodèsia es convertís en un govern negre de Zimbàbue (1979-80), Joshua Nknomo i el ZAPU (majoritàriament de l’ètnia ndebele) foren progressivament eclipsats pel ZANU de Robert Mugabe (majoritàriament shona). El ZAPU fou derrotat pel ZANU en les eleccions parlamentàries del 1980. Les relacions entre els dos partits continuaren tenses, i el conflicte obert entre les ètnies shona i ndebele esclatà arran de la destitució de Joshua Nkomo del govern el 1982. Els dos grups s’uniren el 1987 i d’aquesta manera l’any 1990 Nkomo esdevingué vicepresident de Zimbàbue. L’any 1984 publicà la seva autobiografia, The Story of My Life.