Deixeble de J.A. Hiller, a partir del 1776 viatjà com a director d’orquestra de la companyia teatral d’A. Seyler. L’any 1778 es casà amb S. Zinck, filla adoptiva de G. Benda. El 1780 s’establí a Bonn, on al cap de dos anys esdevingué organista de la cort. Es dedicà a la pedagogia i fou mestre de Beethoven, que tenia llavors dotze anys, a qui ensenyà piano, orgue i composició. Arran de l’ocupació francesa del 1794 perdé els seus càrrecs, però el 1796 fou nomenat director musical del teatre de Dessau, on romangué fins a la seva mort. D’entre els seus singspiele cal destacar Adelheit von Veltheim (1780), amb llibret basat en l’obra teatral de Ch.F. Bretzner Belmonte und Konstanze, origen d'El rapte del serrall, de W.A. Mozart i G. Stephanie (1782). Neefe compongué també música per a piano, de cambra i coral. Els seus lieder, sovint en to de balada, anticiparen el Romanticisme. Fou, així mateix, escriptor i assagista sobre temes d’estètica i art.