Estudià piano des dels 7 anys i percussió des dels 10, i a 13 anys era un nen prodigi que actuava com a professional. La seva primera feina important fou de bateria a l’orquestra de Noro Morales, l’any 1940. A la fi de la Segona Guerra Mundial fundà la seva primera orquestra, The Picadilly Boys, i posteriorment entrà en la prestigiosa escola de música Juilliard.
Director d’orquestra, arranjador, compositor, teclista, saxofonista i vibrafonista, començà a despuntar als anys cinquanta amb l’eclosió del mambo, però fou amb el jazz llatí que li arribà la fama i la coronació com a rei del gènere, amb dos discs cabdals, Puente Goes Jazz (1956) i Dance Mania (1958).
Els anys seixanta es consolidà com a músic, col·laborant sobretot amb Celia Cruz, Óscar D’León i La Lupe, i component èxits com Oye como va, que uns quants anys després popularitzà el guitarrista Carlos Santana.
Fou guardonat cinc vegades amb el premi Grammy, el darrer dels quals l’any 2000, a títol pòstum. Gran admirador de Barcelona, fou molt amic de Xavier Cugat. Actuà, entre altres pel·lícules, a Radio Days (1987), de Woody Allen.