Jugà com a davanter en la Lliga escocesa en l’equip Queen’s Park (1957-60) i, com a professional, en el St. Johnstone (1960-64, amb el qual guanyà la Lliga escocesa 1962-63), el Dunfermline Athletic (1964-67), el Rangers (1967-69), el Falkirk (1969-73, amb el qual guanya la Lliga escocesa 1969-70), i l’Ayr United (1973-74).
El 1967 fou jugador de la selecció escocesa. L’any 1974 inicià una carrera com a entrenador i, fins el 1986, dirigí els equips escocesos St. Mirren (1974-78) i Aberdeen (1978-86), amb els quals aconseguí quatre títols de Lliga escocesa (1976-77, 1979-80, 1983-84 i 1984-85), quatre copes (1981-86) i una copa de la UEFA de campions de Copa (1982). Fou també entrenador de la selecció d’Escòcia (1985-86).
El 1986 passà a la Lliga anglesa i, al front del Manchester United, aconseguí al llarg de vint-i-sis anys un palmarès extraordinari, que inclou, entre altres, 13 trofeus de Premier League (1992-93, 1993-94, 1995-96, 1996-97, 1998-99, 1999-2000, 2000-01, 2002-03, 2006-07, 2007-08, 2008-09, 2010-11, 2012-13), dues Lligues de Campions de la UEFA (1998-99 i 2007-08), una Supercopa de la UEFA (1991), una Copa Intercontinental (1998) i una Copa del Món de Clubs de la FIFA (2008).
Ha rebut també els premis de la UEFA d’entrenador de l’any (1998) i d’equip de l’any (2007, 2008) el premi al millor entrenador de la Federació Internacional d’Història i Estadístiques del Futbol (1999, 2008 i 2012), de millor entrenador de la Premier League (1993-94, 1995-96, 1996-97, 1998-99, 1999-2000, 2002-03, 2006-07, 2007-08, 2008-09, 2010-11), entrenador de l’any de la revista Onze d’Or (1999, 2007 i 2008), el premi Laureus al millor equip de l’any per al Manchester United (2000) i la Medalla Presidencial de la FIFA (2011). Oficial (1983) i comanador (1995) de l’Orde de l’Imperi Britànic, que li atorgà el títol de Sir, al maig del 2013 anuncià la seva retirada per al final de la temporada.