Es diplomà en dret públic a la Universitat de Maine de la seva ciutat (1976) i el 1977 amplià estudis a la Universitat René Descartes de París. Del 1976 al 1980 fou col·laborador del diputat de l’RPR Joël Le Theule, ministre de Transports i de Defensa.
Dins l’RPR fou successivament secretari nacional (1997), portaveu de la comissió executiva (1998) i conseller polític (1999-2001), i posteriorment fou un dels artífexs de la transformació de l’RPR en la Union pour un Mouvement Populaire (UMP), en la qual fou conseller polític del seu president Nicolas Sarkozy (2004-07). Alcalde de Sablé-sur-Sarthe (1983-2001), fou diputat a l’Assemblea Nacional del 1981 al 2002, senador (2004-07) i novament diputat des d’aquest any. Ocupà els ministeris d’Ensenyament Superior i Recerca (1993-95), Tecnologia de la Informació i Telecomunicacions (1995-97), Afers Socials (2002-04) i Educació (2004-05).
El maig del 2007, Nicolas Sarkozy, elegit ja president, nomenà Fillon primer ministre en substitució de Dominique de Villepin, càrrec en el qual fou confirmat després de les legislatives del juny. El novembre del 2010 presentà la dimissió al capdavant de tot el seu govern, després de fortes tensions derivades de les reformes dràstiques del sistema de pensions i altres qüestions, com el tracte donat als gitanos romanesos. Sarkozy, però, mantingué Fillon en el càrrec al capdavant del nou govern.
El protagonisme de Sarkozy deixà en un segon pla la seva gestió com a cap de govern. No obstant això, continuà aplicant les ulteriors mesures d’austeritat impulsades des de la presidència. Després de les eleccions presidencials del 2012, en què Sarkozy fou derrotat en segona volta el mes de maig pel candidat socialista François Hollande, Fillon dimití el càrrec, en el qual fou substituït per Jean-Marc Ayrault. Tanmateix, el novembre del 2016, superà Nicolas Sarkozy i Alain Juppé en les primàries per a les eleccions presidencials del 2017 i fou elegit candidat oficial de Les Républicains. Fou derrotat en la primera volta de les eleccions presidencials (abril del 2017) en restar en tercera posició. Investigat per una acusació de contracte laboral fraudulent a la seva esposa, el juny del 2020 fou condemnat a cinc anys de presó (tres dels quals suspesos), al pagament d’una multa i a una inhabilitació de deu anys.