Rebé les primeres classes de música del seu pare. Serví el comte Carl Philipp del Palatinat, llavors resident a Breslau, i més tard viatjà a Itàlia, on coincidí amb Alessandro i Domenico Scarlatti durant els anys compresos entre el 1708 i el 1714, mentre era al servei de la reina mare polonesa Maria Casimira a Roma. El 1715 tornà a Alemanya per treballar breument a les corts dels Hessen-Kassel i de Düsseldorf i posteriorment, pels volts del 1717, a la de Dresden. Viatjà per diverses ciutats, com Praga, Londres i Viena, on actuà com a llaütista. A Praga, amb motiu de la coronació de Carles VI (1723), tocà durant la representació de l’òpera de J.J. Fux Costanza e fortezza, juntament amb J.J. Quantz i K.H. Graun. El 1739 anà a Leipzig, on conegué J.S. Bach. Weiss fou un dels llaütistes més grans de la història de la música i un compositor fecund per a aquest instrument. La seva producció musical consta de més de 600 obres agrupades en suites de danses, que acostumen a seguir l’ordre d'allemande, courante, bourrée, sarabanda, minuet, giga o allegro. Moltes comencen amb un preludi lliure, sense compàs. El seu estil pertany al Barroc tardà, similar en alguns aspectes al de Bach, tot i que menys contrapuntístic, i amb alguna influència de l’estil galant.