Probablement estudià orgue amb Gerhard Preisensin. El 1684 fou nomenat organista de la Marienkirche a Halle, on romangué la resta de la seva vida. A més dels seus deures com a organista, dirigia el cor i les interpretacions musicals de l’església. Fou també un prestigiós professor i tingué alumnes destacats, com Gottfried Kirchhoff, Johann Gotthilf Krieger, Johann Gotthilf Ziegler i fins i tot G.F. Händel. La producció musical de Zachow és extensa. Escriví unes 100 cantates religioses, de les quals només s’ha conservat una tercera part. Algunes són compostes a partir de textos presos literalment de la Bíblia en la tradició del concert sacre i d’altres són cantates madrigalesques característiques de l’època de J.S. Bach. Utilitzà una gran varietat de formes musicals, i els passatges corals, generalment a quatre, cinc o sis parts, contenen elements concertants rics en contrastos. També són usuals els passatges en estil fugat. La part més significativa de la seva producció organística la constitueixen unes quaranta fugues basades en corals i preludis, que mostren Zachow com un important precursor de J.S. Bach.