Procedent d’una família benestant d’origen jueu, estudià a les universitats de la Sorbona, Heidelberg i Sant Petersburg, i inicià una activitat literària que el portà a publicar a la revista Apollon els seus primers poemes. Considerat un dels pares de l'acmeisme, la seva poesia és classicitzant, rigorosa i amb una forta càrrega cultural i moral. Allunyat de la revolució soviètica, amb la qual inicialment simpatitzà, fou cada cop més mal vist per les autoritats.
El 1934, un poema en el qual al·ludia críticament a Stalin, fou motiu que hom li prohibís l’accés a algunes grans ciutats. Passà llavors a residir en condicions molt precàries a Voronež, prop de la frontera amb l’aleshores República Soviètica d’Ucraïna. El 1938 fou arrestat i, acusat d’activitats subversives, internat en un camp de concentració prop de Vladivostok, on morí. A l’exili, es decantà cap a un major lirisme i, posteriorment, vers l’autobiografia, sense deixar de banda l’experimentació formal. Entre els seus llibres de poesia cal destacar Kamen' (‘Pedra’, 1913), Tristia (1922) i Šum vremeni (‘El soroll del temps’, 1925). Escriví, a més, narració (Egipetskaja marka, ‘El segell egipci’, 1928) i també assaig i crítica literària. L’any 2015 hom publicà el volum Poesia completa en versió catalana de Jaume Creus.
La muller d’Osip Mandel’štam, Nadežda Iakovlevna Mandel’štam (Saratov, 18 d’octubre de 1899 – Moscou, 29 de desembre 1980), amb qui es casà el 1922, l’acompanyà a l’exili, anys que reflectí en dos llibres de memòries (1970, 1974) considerats testimoniatges essencials de la repressió de l’estalinisme. El 1956, any que Ossip Mandel'stam fou rehabilitat, li fou permès tornar a Moscou i dedicà la resta de la seva vida a la difusió de l’obra no publicada del seu marit.