Entre el 1984 i el 1989 fou intern de La Masia, l’escola de futbol del Futbol Club Barcelona. Migcampista, jugà en les categories inferiors de l’equip (1984-90), i, successivament, al Figueres, al Celta, al Badajoz, al Mallorca, al Lleida, a l’Elx i a la Unió Esportiva Gramenet. Retirat com a jugador l’any 2002, inicià una carrera com a tècnic al Palafrugell, el Figueres i el Terrassa.
L’any 2007, en ser designat tècnic del primer equip del FC Barcelona, Josep Guardiola el nomenà segon entrenador, i en aquest càrrec fou copartícip dels trofeus de l’etapa 2007-12: 3 lligues espanyoles (2008-09, 2009-10, 2010-11), 2 Copes d’Europa (2008-09, 2010-11), una Copa del Rei (2008-09), 2 Campionats del Món de clubs (2009, 2011), 2 Supercopes d’Europa (2009, 2011) i 3 Supercopes d’Espanya (2009, 2010, 2011).
L’abril del 2012, poc després que Guardiola anunciés la renúncia a continuar dirigint l’equip la temporada 2012-13, Vilanova fou designat per rellevar-lo. A causa d’un càncer, que l’obligà a ser intervingut quirúrgicament, deixà temporalment el seu càrrec d’entrenador (desembre del 2012-abril del 2013), a mans del segon entrenador, Jordi Roura. Al maig, aconseguí amb l’equip guanyar la Lliga 2012-13. Tanmateix, una nova recaiguda en la malaltia que finalment causà la seva mort l’obligà a renunciar definitivament al càrrec d’entrenador titular al juliol. Fou substituït per Gerardo Tata Martino.