De família jueva, el 1893 es convertí al cristianisme. Estudià a les universitats de Berlín i de Heidelberg i fou professor a l’escola tècnica de Karlsruhe. Treballà en el camp de l’electroquímica i estudià els elèctrodes de vidre. Investigà també els equilibris de gasos des d’un punt de vista termodinàmic i, juntament amb Carl Bosch, ideà un procés d’obtenció d’amoníac, que posteriorment desenvolupà vers la producció en massa d’adobs.
Director (1911) del departament de física química del Kaiser Wilhelm Institut (precursor de la Max Planck Gesellschaft), durant la Primera Guerra Mundial fou cap del departament de guerra química de l’exèrcit alemany i desenvolupà alguns dels gasos tòxics més emprats en aquest conflicte. El desacord amb aquesta activitat portà la seva muller al suïcidi (1915). Formulà també l’anomenada constant de Haber, amb la qual hom calcula la dosi necessària de gas tòxic letal per a l’ésser humà.
L’any 1918 rebé el premi Nobel de química pels seus treballs sobre la síntesi de l’amoníac, però per la seva participació en la guerra química durant uns quants anys fou exclòs o bandejat dels països aliats. S’exilià a la Gran Bretanya poc després de la pujada de Hitler al poder (1933) i arran de l’aplicació de les lleis racials del Tercer Reich. Morí quan estava a punt d’emigrar a Palestina. Figura controvertida, hom dona el seu nom a l’Institut d’electroquímica de la Max Planck Gesellschaft i al Centre de recerca molecular de la universitat Hebrea de Jerusalem.