Pertanyent a una família hassidita, fou criat per un oncle que, als 13 anys, l’envià a estudiar a una escola rabínica. Influït tanmateix per la Haskalà, la tradició il·lustrada del judaisme, en fou expulsat al cap d’un any. Una família benestant li finançà els estudis, dels quals les llengües foren una part important. Al mateix temps, es convertí en un sionista convençut.
El 1878 anà a París a estudiar medicina i signà el seu primer article en hebreu, un al·legat en favor de l’emigració de la diàspora a Palestina, com Eliezer ben Yĕhudà, nom que des d’aleshores utilitzà en la seva activitat pública. Començà també a concebre la idea de l’hebreu com a llengua d’una futura comunitat nacional jueva a Palestina, no restringida als usos rituals i religiosos. Malalt de tuberculosi, anà a guarir-se a Algèria. En tornar a París, abandonà els estudis de medicina i es lliurà a la causa sionista. El 1881 emigrà a Jerusalem. Entre el 1882 i el 1885 col·laborà en publicacions amb articles prosionistes i el 1884 fundà un setmanari, Ha-Ẓevi (‘El cérvol’). També fou professor a l’escola de l’Aliança Israelita Universal de Jerusalem, que li proporcionà uns ingressos estables.
Publicà, a banda, l’obra de geografia Ereṣ Yiśraʼel. Acusat de sedició, el 1894 fou empresonat durant un any per les autoritats otomanes. La seva tasca principal a Palestina, però, fou la de promoure l’hebreu com a llengua d’ús comú, projecte que topà amb l’hostilitat dels grups religiosos. Tanmateix, continuà la campanya de difusió i, paral·lelament, la modernització de l’hebreu amb l’elaboració d’un monumental diccionari de la llengua hebrea antiga i moderna (Milon ha-lashon ha-ʻIvrit ha-yeshanah ṿeha-ḥadashah) que començà a redactar el 1901. El 1910 en començà la publicació, bé que dels 17 volums de què consta només n’aparegueren cinc en vida seva i l’obra no es completà fins el 1959.
Principal artífex de l’hebreu modern, l’any de la seva mort les autoritats britàniques declararen l’hebreu llengua cooficial de Palestina.