Llicenciat en dret (1971), amplià estudis a la Universitat de Berkeley. Membre del comitè executiu nacional d'Alianza Popular (1979-86), que el 1989 esdevingué Partido Popular (PP), del qual fou sotssecretari general, ha estat membre i responsable de diverses comissions al Congrés dels Diputats. Arran de la victòria del PP en les eleccions generals del 1996, José María Aznar el designà vicepresident segon del govern espanyol. En 1996-2000 fou també ministre d'economia i hisenda, i a partir de la segona legislatura del PP, l'any 2000, ministre d'economia, ja que l'anterior ministeri fou dividit en dos. Completà el sanejament de l'economia espanyola iniciada pel seu predecessor Pere Solbes i centrà la seva política en l'assoliment dels criteris de convergència per a l'adopció de l'euro i en la privatització de les grans companyies estatals.
Després de la derrota electoral del PP en les eleccions generals del 2004, fou nomenat nou director gerent del Fons Monetari Internacional (FMI), en substitució de Horst Köhler, càrrec que comportà la renúncia a l'escó de diputat al Congrés espanyol. Durant el seu mandat hagué de fer front a les demandes de reequilibri en els òrgans decisoris de la institució per part dels països emergents. Al novembre del 2007, abans de la finalització del mandat, deixà el càrrec adduïnt motius personals i fou succeït per Dominique Strauss-Kahn.
Al gener del 2008 s’incorporà al Banco de Santander com a asesor internacional, i al març del 2008 fou nomenat president del consell assessor de Criteria CaixaCorp, càrrecs, junt amb altres que abandonà al desembre del 2009 per a assumir la presidència de Caja Madrid, al gener del 2010. Al desembre, en integrar-se aquesta entitat en el nou grup Bankia, en fou nomenat president i es proposà convertir-lo en la primera entitat espanyola, que al juliol del 2011 inaugurà la sortida en borsa. Tanmateix, arran de l'empitjorament de Bankia resultat de l'exposició al deute immobiliari, dimití el càrrec al maig del 2012. Poc després, l'entitat fou intervinguda pel FROB. Les investigacions sobre l'estat de les finances de Bankia portaren a imputar Rato i la major part de la direcció de l'entitat per estafa i apropiació indeguda, entre altres delictes. L'octubre del 2014 fou imputat en l'afer anomenat de les targetes opaques de Bankia i Caja Madrid, consistent en sobresous no declarats a través de targetes que l'entitat bancària facilitava als directius fora del circuit habitual. El mateix mes sol·licità la suspensió de militància del PP. L'any 2016 es feu públic que el seu nom figurava en els anomenats Papers de Panamà/Mossack-Fonseca. L'octubre del 2016 s'inicià el judici contra ells i altres exdirectius de Bankia pel cas de les targetes opaques. La sentència (febrer del 2017) condemnà Rato a 4 anys i mig de presó, però l'endemà el jutge el deixà en llibertat sense fiança. L'octubre del 2018 ingressà a la presó dues setmanes després que el Tribunal Suprem confirmés la sentència. El maig del 2017 fou processat amb motiu de la sortida a borsa de Bankia, i el setembre del 2020 l'Audiència Nacional l'absolgué en considerar que no hi havia hagut ocultació ni falsejament d'informació.
Al gener del 2013 fou nomenat conseller assessor de Telefónica per a les divisions de Llatinoamèrica i Europa, i al setembre del mateix any fou de nou designat assessor internacional del Banco de Santander. Després de fer-se públic que s'havia acollit a l'amnistia fiscal del 2012 i que hom li obrís una investigació per delicte fiscal, blanquejament i alçament de bens, dimití els seus càrrecs a Telefónica i a Banco Santander, l'abril del 2015.