Fill de Fèlix Millet i Maristany, el 1978 fou elegit president de l’Orfeó Català i des d’aquest càrrec emprengué la restauració del Palau de la Música Catalana, aleshores en un estat de deteriorament molt considerable. Amb aquest objectiu impulsà, el 1983, la constitució del Consorci del Palau de la Música, format per la Generalitat de Catalunya, l’Ajuntament de Barcelona i la Diputació de Barcelona (substituïda el 2001 pel Ministeri de Cultura espanyol), que li atorgaren plens poders per a, com a president de la nova entitat, gestionar i administrar els recursos amb aquesta finalitat. El 1990, un any després d’haver-se inaugurat l’edifici restaurat, fou creada la Fundació Orfeó Català, de la qual també fou nomenat president, i impulsà una ampliació del Palau començada el 1999 i acabada el 2004. Ocupà càrrecs, també, en una trentena d’altres institucions i entitats: fou, entre d’altres, president d’Agrupació Mútua i també de la seva Fundació (2006-09), de la immobiliària AMCI Habitat (2007), de Bankpime (2007-09), vicepresident de la Societat del Gran Teatre del Liceu (1980), membre del Patronat de la Fundació del Conservatori del Liceu (1996), president del consell editorial de la Revista Musical Catalana (1984), vicepresident de la Fundació FC Barcelona (1994-2009), patró de l’Asociación Española de Fundaciones (2003) i de l’Associació Catalunya Futur, la secció catalana de la Fundación para el Anàlisis y los Estudios Sociales (FAES) el 2003.
Fou guardonat amb nombrosos premis, de molts dels quals (com també dels càrrecs) les entitats que els atorgaven n’anunciaren la retirada després de ser conegudes públicament les pràctiques fraudulentes que li eren atribuïdes: Corbata d’Isabel la Catòlica (1981), Clau de Barcelona (1988), Creu de Sant Jordi (1999), Senyor de Barcelona (2005), Creu d’Or de l’Agrupación Española de Fomento Europeo (2008), Confrare d’Honor per la Confraria del Cava Sant Sadurní (2008) i Conciutadà que ens honora de l’Ajuntament de Barcelona (2008).
El 1983 fou acusat d’un delicte d’apropiació indeguda i estafa en la gestió del fons immobiliari Renta Catalana, a causa de la qual fou multat i arrestat durant dos mesos, bé que finalment fou absolt. El juliol del 2009, arran d’una investigació d’un presumpte desviament de fons de l’any 2003 vinculat al Palau de la Música i la Fundació Orfeó Català, fou imputat per frau documental i apropiació indeguda de fons (acusacions que confessà públicament haver fet), juntament amb el seu secretari, Jordi Montull, i diversos alts càrrecs de les institucions afectades, partits polítics i empreses d’obres públiques (cas Palau). El judici començà l’1 de març de 2017 i acabà el 16 de juny. El 15 de gener de 2018 el tribunal emeté la sentència, que condemnava Millet a 9 anys i 8 mesos de presó per uns delictes continuats de malversació i apropiació indeguda, tràfic d’influències, blanqueig de capitals i contra la Hisenda Pública, així com a una multa de 2,8 milions d’euros.
També fou acusat de participar, en connivència amb alts càrrecs municipals, en un cas de tràfic d’influències consistent en la requalificació d’un immoble (“cas Hotel Palau”), pel qual l’Audiència de Barcelona el condemnà, el maig del 2014, a un any de presó i a una multa. La sentència fou revocada al juny del 2016 pel Tribunal Suprem, que l’absolgué.