Fou dels primers compositors que s’interessaren per la cançó popular catalana. Estudià amb C.G. Vidiella i F. Alió. Proper en un principi a les idees de Ll. Millet, fou un dels fundadors de l’Orfeó Català, i s’encarregà de la secció de nois i de dones del cor. El 1896, després que s’allunyés de Millet, fundà la Institució Catalana de Música, que es dissolgué el 1900. Gay dirigí també la Coral Catalunya Nova, fundada per E. Morera. Una part cabdal de la seva producció són les obres escèniques, algunes en català, com ara El jardí abandonat (1890), amb text de S. Rusiñol, El llop pastor (1901) i Cors joves (1901), i d’altres en castellà, entre les quals Agua mansa i El delfín. Pel que fa a les cançons, cal destacar el recull titulat Cançons populars catalanes, i algunes composicions properes a la música de saló. Després de la seva participació en l’empresa del Teatre Líric Català, Gay anà a Cuba, on fundà l’Orfeó Català de l’Havana. Més tard es traslladà a l’Argentina, on dirigí l’Acadèmia de Belles Arts de Corrientes i, un cop establert a Buenos Aires (1924), es dedicà a la docència i a la direcció d’escena i prosseguí la seva tasca compositiva.