S’afilià al Front de Libération Nationale (FLN) el 1955, any que fou empresonat. Alliberat el 1962, es vinculà a la Universitat d’Alger, on establí contactes amb diverses associacions islàmiques. S’oposà a la Union Nationale des Étudiants Algériens (UNEA), dirigida pels comunistes. Juntament amb altres futurs líders islamistes, creà l’associació El Quyam (‘Els valors’), que fou prohibida l’any 1970 pel president Houari Boumedienne. Continuà militant a l’FLN, i el 1974 fou escollit conseller municipal de la ciutat d’Alger. L’any següent marxà a la Gran Bretanya, on cursà un doctorat en pedagogia. Al seu retorn a Algèria fou professor a la Universitat d’Alger, on organitzà els primers nuclis islamistes. Donà suport a les manifestacions estudiantils que reclamaven l’arabització de l’educació a Algèria. Al principi dels anys vuitanta, amb l’arribada de la revolució islàmica a l’Iran, impulsà alguns moviments violents contra el règim. Firmà una carta que reclamava al president Chadli Bendjedid l’aplicació de la llei islàmica. Fou arrestat i condemnat a cinc anys de presó, però finalment fou alliberat el 1987. L’any 1988, Bendjedid sol·licità la seva mediació en el conflicte amb els islamistes, i com a contrapartida l’autoritzà a crear un partit islamista. El març del 1989, Madani fundà el Front Islàmic de Salvació (FIS) i en fou designat portaveu i president. Arran de la il·legalització del partit per part del govern després de la primera volta de les eleccions del 1992, fou empresonat després de ser jutjat per un tribunal militar. L’organització inicià aleshores una campanya contra el govern que conduí a una guerra civil no declarada. L’any 1997 fou posat en arrest domiciliari. Quan el juny del 1999, l’Exèrcit Islàmic de Salvació (braç armat del FIS) anuncià una treva unilateral, Abassi Madani expressà el seu suport a aquesta decisió i feu una crida a tots els islamistes a abandonar l’ús de les armes. El juliol del 2003 el govern li aixecà l’arrest domiciliari, que complia des de feia dotze anys. Tant a Madani com a un altre alt dirigent del FIS també amnistiat, Ali Belhadj, els fou prohibida l’activitat política, i des d’aquest any visqué a l’exili, on morí. El 2007 el Comitè de Drets Humans de l’ONU condemnà el tribunal militar que l’havia jutjat el 1992.