Fill de jueus russos i advocat de professió, fou diputat del Likud des del 1973 i exercí responsabilitats de govern com a ministre d’Afers de les Minories el 1984 en el Govern de Shimon Peres, i el 1990 com a responsable de la cartera de Sanitat.
Fidel lloctinent d'Ariel Sharon al Govern i al partit en l’enfrontament amb l’ala dretana del Likud, Olmert fou de 1993 a 2003 alcalde de Jerusalem. Esdevingué primer ministre israelià com a successor d’Ariel Sharon, greument malalt i en situació de col-lapse cerebral des del gener del 2006. Pel març del 2006 guanyà les eleccions legislatives com a candidat del nou partit Kadima (Endavant), fundat per ell mateix i per Sharon a partir d’una escissió del Likud, i esdevingué primer ministre d’un Govern de coalició amb el Partit Laborista.
Des d’aquest càrrec hagué d’afrontar immediatament la victòria de Hamàs a les legislatives palestines i la divisió en el si de les forces palestines. Les crítiques a la seva gestió en l’ofensiva israeliana al Líban (juliol del 2006) amb l’objectiu d’anul·lar Ḥizb Allāh (que no reeixí) i els resultats d’investigacions que l’implicaren en afers de corrupció al juliol del 2008 precipitaren la seva dimissió com a primer ministre i com a líder del partit. En les primàries celebrades per a elegir el seu successor al capdavant de Kadima fou elegida la ministra d’afers estrangers Tzipi Livni.
Al setembre del 2012 fou condemnat a pagar una multa i a un any de llibertat condicional, per tràfic d'influències i al maig del 2014 un tribunal el condemnà a sis anys de presó per dos delictes de corrupció urbanística quan era alcalde de Jerusalem i ministre d'indústria, però fou exonerat de la major part dels càrrecs pel Suprem. Al desembre del 2015 fou condemnat pel mateix tribunal a 18 mesos per acceptació de suborns. Amb aquesta condemna (efectiva des del febrer del 2016) el convertia en el primer cap de govern israelià en ingressar a presó. Al juliol del 2017 li fou concedida la llibertat condicional.