Es tenen poques dades sobre la seva biografia. Diverses fonts afirmen que fou alumne de J.S. Bach i també del seu fill gran, W.F. Bach. Segons J.N. Forkel, J.S. Bach compongué per a ell les famoses Variacions Goldberg (1741), obra de referència dins la música per a clavicèmbal. Aquest fet, però, ha estat sovint posat en dubte. El 1751 succeí G. Gebel en qualitat de músic de cambra de la capella del comte H. von Brühl, al servei del qual es mantingué fins a la seva prematura mort. A més d’un reconegut virtuosisme al clavicèmbal, compongué dues cantates per a cor i orquestra, sonates, concerts i vint-i-quatre poloneses per a diversos instruments. En les seves obres es mostra partidari tant d’un joc polifònic típicament barroc com del páthos característic del moviment Sturm und Drang. Si bé el seu estil polifònic extremament elaborat i l’ús de cors fugats en les seves cantates revelen la influència de J.S. Bach, en la seva música instrumental és perceptible l’influx dels fills Wilhelm Friedemann i Carl Philipp Emanuel. Les característiques bàsiques de l’estil de Goldberg són la seva preferència pel cromatisme melòdic i harmònic, el gust per la síncope i un esmerat contrapunt, elements tots que l’allunyen de la simplicitat de l’estil galant.