Començà d’infant estudis de violí i també a cantar a la parròquia del seu barri. Des del 1949 a la fi de la dècada de 1950 cantà i tocà el saxo en una orquestra de ball, The Crazy Boys, que interpretava temes de swing i de jazz. Fou un dels primers cantants que popularitzà versions en català d’èxits internacionals. Al final dels anys cinquanta començà a enregistrar versions d’èxits italians de Domenico Modugno, alguns també en català, com Piove, activitat que aviat estengué a la cançó francesa i al folk nord-americà i a temes de bandes sonores americanes, entre els quals cal esmentar Sixteen Tons i Mack the Knife. El seu primer disc en castellà fou Combo americano (1957), i un any després feu el primer disc en català, José Guardiola canta en catalán los éxitos internacionales, que contenia peces com Besa’m en silenci, Come prima i El vell carrer de l’aimada. També enregistrà amb la seva filla Rosa Mary una edulcorada interpretació de Di papa, a partir d’un original francès, que tingué molt d’èxit, igual que la versió que feu de Se’n va anar (1963). L’any 1960 guanyà el premi del Festival de Cançó d’Andorra i enregistrà un disc amb temes catalans com ara Els minyons del Pireu i L’encís d’Andorra. Participà també en el Festival Mediterrani de la Cançó amb Nube de colores l’any 1962 i l’any següent aconseguí el segon lloc en el Festival d’Eurovisió amb Algo prodigioso. Es feu també popular en els espectacles radiofònics, on triomfà gràcies a una veu de gran qualitat.
Cantant melòdic de veu profunda i una gran tècnica, la seva trajectòria declinà des del final dels anys setanta, paral·lelament a l’ocàs dels crooners i l’ascens del rock. El 1998 recollí els seus èxits en el disc recopilatori 40 aniversario, amb la col·laboració de Loquillo, Dyango i Joan Manuel Serrat. L’any 1975 compongué la música de l’himne del RCD Espanyol, que, escrit per Ricard Pastor, incorporava una estrofa en català i que fou oficial fins el 1983.