Entrà a la Thomasschule a Leipzig l’any 1726 i allí estudià amb J.S. Bach, amb el qual mantingué una estreta relació al llarg dels anys. Del 1737 al 1743 fou organista a la Marienkirche de la ciutat de Zwickau; del 1744 al 1754 tingué el mateix càrrec al castell de Zeitz i des del 1755 fins a la seva mort, a la cort del príncep Frederic al castell d’Altenburg. Les seves obres d’orgue foren considerades les millors de l’època. Rebé elogis de Ch. Burney, J.N. Forkel i fins i tot de J.S. Bach. La música de Krebs reflecteix la transició estilística d’un llenguatge contrapuntístic, una tendència no compartida amb molts dels seus contemporanis, cap a l’estil galant. El Clavier Ubung ('Exercici de teclat') demostra un gran coneixement de diversos estils. El Doble Concert en si menor per a dos clavecins o el motet a cinc veus Erforsche mich, Gott ('Déu, mira dintre meu') són testimonis eloqüents de l’estil barroc i sobretot de la influència que Bach tingué sobre Krebs. Tres dels seus fills també foren organistes.