Va adquirir els seus coneixements de forma pràctica, acompanyant cants litúrgics a Burghausen. Va treballar com a professor de música i com a organista. L’any 1816 esdevingué kantor a Oberndorf i des del 1833 fou director de cor a Hallein, localitat propera a Salzburg. Gruber, a penes recordat avui dia, fou autor de la nadala Stille Nacht (Santa Nit), que ha esdevingut la composició del seu gènere més coneguda internacionalment. Stille Nacht fou composta sobre un text de Josef Mohr i estrenada la nit de Nadal del 1818. Molt aviat es feu po pular i arribà a ser considerada una cançó tradicional d’autor anònim. L’any 1854 aparegué un escrit de Gruber que en reivindicava l’autoria i es queixava dels canvis que l’ús havia introduït en la seva composició.