Fou assistent al FC Barcelona entre el 1996 i el 1999, sota la direcció de Bobby Robson (1996-97) i Louis van Gaal (1998-99). La seva trajectòria continuà a Portugal com a primer entrenador al Benfica (2000-01), l’UD Leira (2001-02) i el FC Porto (2001-04), amb el qual guanyà dos campionats de Lliga (2002-03 i 2003-04), una Copa i una Supercopa (2002-03) de Portugal, a més de dues Copa de la UEFA (2003) i una Lliga de Campions (2004).
Després feu el salt a la Premier League anglesa, on dirigí quatre temporades el Chelsea FC (2004-2007), amb el qual guanyà dues vegades la Premier League (2004-05 i 2005-06) i una Copa (2004-05). La temporada 2007-08 ingressà a l’Inter de Milà, equip que entrenà tres temporades i amb el qual aconseguí dos campionats de Lliga (2008-09 i 2009-10), una Copa d’Itàlia (2010) i una Lliga de Campions (2010).
Entrenador del Real Madrid a partir de la temporada 2010-11, amb aquest equip guanyà un campionat de Lliga (2011-12), una Copa del Rei (2010-11) i una Supercopa d’Espanya (2012). Tingué com a gran rival el Futbol Club Barcelona, entrenat per Josep Guardiola. El maig del 2013 el club anuncià que no li renovaria el contracte la temporada següent, i poc després fou fitxat novament pel Chelsea, equip amb el qual guanyà el 2015 una tercera Premier League i una segona Copa; tanmateix, fou destituït el 2015. El maig de 2016 fitxà pel Manchester United, amb el que es proclamà campió de la UEFA (2017) i el desembre del 2018 fou destituït a causa dels mals resultats. El novembre del 2019 fitxà pel Tottenham Hotspur, equip que entrenà fins l’abril del 2021. El maig del 2021 fou confirmat com a entrenador de l’AS Roma, equip amb el qual guanyà la Lliga Europa Conferència de la UEFA (2022) i del qual fou destituït el gener del 2024.
Entre els guardons individuals, ha rebut els títols d’entrenador de l’any de la UEFA (2003 i 2004), de la FIFA (2010) i de la Federació Internacional d’Història i d’Estadística de Futbol (IFFHS) (2004, 2005, 2010 i 2012).