Fou alumne de Gustav Schreck i també de Karl Straube, organista de l’església de Sant Tomàs de Leipzig, on des de molt jove Rabin es feu càrrec de nombrosos serveis religiosos en substitució del seu mestre. El 1917 es diplomà al Conservatori de Leipzig. Un any després fou nomenat organista de Sant Tomàs. Durant la dècada del 1920, la seva fama com a organista i clavicembalista transcendí les fronteres alemanyes, i actuà regularment per tot Europa i Amèrica. Paral·lelament desenvolupà una tasca molt important en el terreny de la direcció de cors, tot dirigint el cor de la Gewandhaus (1933-34 i 1945-51) i el cor de la Filharmònica de Berlín (1935-43). El 1940 fou nomenat cantor a Sant Tomàs i el 1950 fou distingit amb el Premi Nacional de la República Democràtica Alemanya. És autor de diverses composicions corals i per a orgue.