Graduat a l’École Nationale d’Administration (1972), fou membre del cos d’inspectors de finances. El 1976 fou nomenat cap del gabinet del primer ministre Jacques Chirac, però no fou elegit parlamentari pel Rassemblement pour la République (RPR) fins el 1978, per un breu període, i posteriorment ho ha estat des del 1984. Secretari d’Estat per a Economia i Finances des del 1978 i ministre d’Afers Estrangers des del 1993, el 17 de maig de 1995 fou nomenat primer ministre pel nou president de la República, Jacques Chirac.
President de l’RPR des de l’octubre del mateix any, al juny del 1996 Juppé anuncià l’abandó del projecte de reforma econòmica, després d’una llarga vaga dels funcionaris. Al novembre hagué de fer front a una altra mobilització, la dels camioners, que provocà la paralització del transport de mercaderies per carretera a gran part de l’Europa occidental. Ferm defensor de l’ajustament econòmic per tal de convergir amb Europa, la decisió del president Chirac d’avançar les eleccions legislatives al maig-juny del 1997 tingué a veure amb la necessitat de recuperar el pla Juppé.
La victòria del Parti Socialiste en la primera volta d’aquestes eleccions, al maig, forçà la seva dimissió i fou substituït com a primer ministre pel socialista Lionel Robert Jospin, que guanyà finalment en la segona volta. Al juny del 2002 fou designat president de la Unió per la Majoria Presidencial, formació de dreta que incloïa l’RPR i que el mateix mes havia guanyat les eleccions generals, posteriorment reconvertit en Les Républicains. Dimití aquest càrrec al juliol del 2004, quan fou condemnat per un delicte de corrupció dels anys en què Chirac fou alcalde de París.
Inhabilitat dos anys, retornà a la política el 2006, que fou elegit alcalde de Bordeus (2006) càrrec en el qual fou reelegit el 2006 i el 2014. Fou ministre d’Ecologia i Medi Ambient dins del Govern de François Fillon del maig al juny del 2007, en què renuncià en no ser reelegit a les eleccions legislatives. L’any 2010 Nicolas Sarkozy el designà successivament ministre de Defensa (2010-11) i d’Afers Estrangers (2011-2012), sempre amb Fillon com a primer ministre. Després de la derrota de Sarkozy, optà a ser candidat per Les Républicains en les eleccions presidencials del 2017, però fou derrotat per Fillon en les primàries del novembre del 2016.