Fill d’un jurista i net d’un dels redactors de l’Estatut d'Autonomia de Galícia, es llicencià en dret a la Universitat de Santiago. Militant d’Alianza Popular des del principi dels anys vuitanta, fou president de la diputació provincial de la Corunya, diputat al parlament gallec (1981) i vicepresident de la Xunta de Galícia (1986-87).
Durant la primera legislatura del Partido Popular a l’Estat espanyol sota la presidència de José María Aznar, fou nomenat ministre d’Administracions Públiques (1996-99) i de Cultura i Educació (1999-2000). En el govern sorgit després de les eleccions del 2000, ocupà el càrrec de vicepresident primer i ministre de la Presidència. El febrer del 2001 fou nomenat ministre de l’Interior.
A partir del 2002 José María Aznar el promocionà com a successor seu a la Moncloa, i per això aquell any deixà el Ministeri de l’Interior i assumí els càrrecs de vicepresident primer del govern espanyol, ministre de la Presidència i portaveu de l’executiu. Hagué d’afrontar matèries molt delicades per al govern, com l’enfonsament del petrolier Prestige davant les costes gallegues o la participació espanyola en la guerra de l’Iraq (2003), a la qual s’oposà un ampli sector de l’opinió pública.
La renovació interna del PP impulsada per Aznar el portà a abandonar el 2003 el càrrec de vice-secretari general del partit per a ocupar el de nou secretari general popular. Encapçalà la candidatura popular en les eleccions generals de l’any següent, que perdé davant del socialista José Luis Rodríguez Zapatero. Tot i la derrota, Aznar i el partit continuaren dipositant-hi la seva confiança, i l’octubre del 2004 el 15è Congrés del PP el designà nou president del partit, càrrec en el qual fou confirmat en el 16è (2008) i 17è (2012) congrés.
Com a cap de l’oposició encapçalà un discurs basat en els perills del desmembrament d’Espanya arran de les suposades concessions socialistes als nacionalistes perifèrics, unes mesures antiterroristes qualificades de toves i una política immigratòria titllada d’excessivament permissiva. En les eleccions generals del 9 de març de 2008 fou derrotat altre cop, resultat que intensificà les crítiques dels que qüestionaven el seu lideratge, procedents sobretot de l’ala dura del PP.
Tanmateix, aconseguí conservar el càrrec mantenint un difícil equilibri entre les faccions del partit i, com a cap de l’oposició, sotmetent a un assetjament implacable i persistent el govern de José Luis Rodríguez Zapatero, molt afeblit per la gestió de les greus repercussions de la crisi del 2008 a Espanya. La victòria rotunda que obtingué en les eleccions generals del 20 de novembre de 2011 (la majoria absoluta més àmplia aconseguida pel PP, 186 escons) li permeté ser investit cap de govern el dia 20 del mes següent. Malgrat governar sense condicionants, Rajoy hagué d’afrontar una legislatura especialment complexa marcada, en primer lloc, per l’agreujament de la crisi del deute, davant la qual el seu govern prioritzà el rescat de les entitats bancàries (per al qual rebé considerables ajuts de la Unió Europea) i les polítiques d’austeritat amb l’objectiu de complir els objectius de dèficit establerts per la Unió Europea. Amb aquestes mesures posà de manifest un evident biaix centralitzador en exigir un esforç a les administracions autonòmiques molt superior al de l’administració central. Al mateix temps, la continuació d’una taxa d’atur anormalment alta segons la referència europea, l’envelliment de la població i el baix creixement de l’economia espanyola comprometien la viabilitat de les arques públiques i el futur de l’estat del benestar espanyol. En aquest aspecte, fou també molt criticat l’ús que feu del fons de reserva de les pensions per als rescats bancaris.
Un segon front de gran dificultat fou la persistència de l’independentisme català, davant del qual Rajoy i el seu govern optaren (amb la complicitat del PSOE) per una sistemàtica apel·lació a la Constitució i a la legalitat vigent, tant per a desestimar cap replantejament substancial d’algun dels motius de conflicte (finançament) com per a negar qualsevol possibilitat de permetre un referèndum o consulta sobre la independència (malgrat que el suport a la secessió, en la majoria de les prospeccions, se situava entorn del 50%). Davant la insistència catalana, el govern espanyol respongué amb la tramitació sistemàtica de recursos d’inconstitucionalitat contra les lleis aprovades pel Parlament de Catalunya al Tribunal Constitucional. Aquesta judicialització del conflicte portà, no solament des del camp independentista, a qüestionar l’estat de la separació de poders a Espanya.
Un tercer repte al qual s’hagué d’enfrontar l’executiu presidit per Rajoy fou el de la crisi de la monarquia que desembocà en l’abdicació del rei Joan Carles I d’Espanya en favor del seu fill Felip VI d'Espanya (2014), i que anà acompanyat d’un greu cas de corrupció en el qual alguns magistrats investigaren membres de família reial. La corrupció, d’altra banda, fou també el gran problema de la primera legislatura de Rajoy, i tingué l’agreujant de concentrar la majoria de casos en càrrecs del PP en tots els nivells de l’administració i de la mateixa organització. Les escasses perspectives de desbloqueig d’aquests problemes repercutiren en un fort desgast del Partido Popular, que tanmateix continuà com a força més votada en els eleccions generals del 20 de desembre de 2015.
La fragmentació que emergí d’aquests resultats, inèdita des de l’inici de la monarquia constitucional fins aleshores dominada pel bipartidisme, complicà la formació de govern. Rajoy, primer candidat a la presidència, obtingué el suport de Ciutadans, però desistí davant la perspectiva d’una majoria insuficient (per la desaparició de CiU com a partit frontissa i el refús del PSOE d’abstenir-se). Convocades noves eleccions el 26 de juny de 2016, amb resultats no gaire diferents als del 2015, Rajoy optà novament a la investidura i tornà a rebre el suport de Ciutadans i, en segona votació, l’abstenció dels socialistes. Un cop investit president a l’octubre després de 314 dies de govern en funcions, augmentà la pressió sobre l’independentisme català, especialment des del setembre del 2017, que, tanmateix, no pogué evitar la celebració del Referèndum de l’1 d’octubre. Rajoy accelerà també la judicialització contra l’independentisme, iniciatives que desembocaren en l’aplicació de l’article 155 de la Constitució espanyola, pel qual el govern espanyol intervenia la Generalitat de Catalunya, i en l’empresonament o l’exili de càrrecs del govern i el Parlament català. Paral·lelament, continuaren els processos judicials per corrupció contra alts càrrecs del PP i, pocs dies després de fer-se públiques les primeres sentències de l’anomenat “cas Gürtel”, el líder socialista Pedro Sánchez presentà una moció de censura que feu caure Rajoy i el seu govern l’1 de juny de 2018. Quatre dies més tard dimití la presidència del PP, i posteriorment es reincorporà a la seva plaça de registrador de la propietat. El 2019 publicà les memòries Una España mejor i el 2021 Política para adultos.