Format a l’escola de negocis ESADE i a les universitats de Harvard i Stanford, fundà amb el seu germà Francesc Rubiralta i Vilaseca les empreses de capital familiar Izasa de material hospitalari (1966), i CELSA de laminats d’acer. Ambdues empreses tingueren un gran creixement fins a situar-se entre els líders internacionals en els camps respectius.
Izasa, dirigida des del principi per Josep Maria Rubiralta, es dedicà al llarg dels primers vint-i-cinc anys de la seva existència a la distribució de productes sanitaris, especialitzant-se en el camp del diagnòstic in vitro. L’any 1991 adquirí Instrumentation Laboratory, una companyia multinacional nord-americana que fou el punt de partida d’un procés d’expansió basat en adquisicions d’empreses, el desenvolupament del producte propi i la recerca, el desenvolupament i la innovació sostinguts.
Aquest conglomerat esdevingué Werfen Group, el qual a les primeres dècades del segle XXI basava el 75% del seu creixement en el producte desenvolupat per les empreses del grup. Seguint l’estratègia dissenyada per Josep Maria Rubiralta, un 75% de la facturació era fruit de la internacionalització iniciada els anys anteriors.
Al gener del 2012 fou succeït pel seu fill Jordi Rubiralta a la presidència de la companyia.
L’interès i la projecció destacada de Josep Maria Rubiralta i el seu germà dins del conjunt de l’empresariat català els portaren a impulsar la creació de la càtedra Anselm Rubiralta de Globalització i Estratègia a l’escola de negocis IESE i a formar part del patronat de la Fundació ESADE, entre d’altres activitats que demostraren la seva sensibilitat pels temes socials i pel foment de la cultura.