Estudià a les universitats d’Erfurt i de Wittenberg (1512-14), on s’impregnà del ferment intel·lectual que precedí la reforma. Els tres anys següents aprengué en aquesta ciutat l’ofici d’impressor amb un oncle seu. El 1518 anà a Leipzig, on esdevingué cantor de la Thomaskirche, i hi publicà una Missa de Sancto Spirito, única obra seva coneguda. Les simpaties de Rhau per Luter, cada cop més evidents, el situaren en una posició insostenible a Leipzig, i el 1523 tornà a Wittenberg, on romangué la resta de la seva vida dedicat a l’ofici d’impressor. La vinculació personal de Rhau amb el luteranisme determinà tota la seva activitat professional, i fou un dels principals editors de la primera etapa de la reforma. En la seva producció editorial, a més dels sermonaris, comentaris bíblics de Luter i de Melanchthon, el catecisme de Luter i tractats teològics, ocupà un lloc molt important el cant litúrgic de la nova fe. Després d’un període en què publicà les obres dels teòrics musicals més importants de l’època (Johannes Galliculus, Martin Agricola, Johann Spanenberg), a partir del 1538 es dedicà sobretot a l’edició de música polifònica. Publicà, entre d’altres, misses tant per a l’ordinari (Opus decem missarum) com per als oficis de Nadal i Pasqua, i altres del propi (Officia paschali, de resurrectione...), per als vespres (Vesperarum precum officia), etc. Entre els autors de moltes d’aquestes composicions destaca Sixt Dietrich. No estrictament litúrgics, cal esmentar els motets de Symphoniae iucundae, emprats a les escoles i el Wittembergisch deudsch geistlich Gesangbuchlein ('Cantoral alemany de Wittemberg'). Rhau és autor també de dos tractats sobre cant pla (Enchiridion utriusque musicae praticae, 1517, i Enchiridion musicae mensuralis, 1520).