Estudià teoria musical al col·legi dels jesuïtes de Praga i més tard, en aquesta mateixa ciutat, entrà al servei del comte Hartig (1709). El 1710 arribà a ser contrabaixista en l’orquestra reial de Dresden. Com altres músics d’aquesta formació, fou enviat a continuar estudis musicals amb J.J. Fux a Viena i amb A. Lotti a Venècia. Tornà a Viena el 1717, on impartí classes de contrapunt a J.J. Quantz. Romangué a la capital austríaca durant dos anys, al llarg dels quals recollí una impressionant col·lecció de música dels més grans compositors. Una altra vegada a Dresden, treballà a la cort com a compositor de música religiosa, mentre que el càrrec de mestre de capella fou atorgat a Hasse. Zelenka compongué especialment obres sacres, entre les quals tres oratoris, dotze misses i gran quantitat d’himnes, cantates i altres peces. La seva música instrumental comprèn sonates, simfonies i concerts. El seu estil mostra els millors trets de la música del Barroc tardà i inclou alguns elements de la música popular de Bohèmia. Els compositors que li foren contemporanis, inclosos J.S. Bach i G.Ph. Telemann, admiraren la seva música, especialment l’habilitat contrapuntística i la inventiva harmònica.