Després d’estudiar a Colònia i a París (1506), passà al servei de Ferran II de Catalunya-Aragó (1508). Posteriorment, estigué al servei dels emperadors Maximilià I i Carles V, de Francesc I de França, d’Enric VIII d’Anglaterra i de Margarida d’Àustria. Professà el luteranisme i fou perseguit perquè cultivava les ciències ocultes. Ensenyà medicina, teologia i hebreu. Fou un important representant del lul·lisme a Alemanya, on aprengué l’art lul·liana del seu mestre Andreas Canter; a París conegué l’humanista i novel·lista Lefèvre d’Étaples. Abans del 1530 escriví uns Commentaria in artem brevem Raymundi Lullii (1533), que tingueren molt d’èxit a la seva època, on definí l’art lul·liana com una art inventiva, la finalitat de la qual és de descobrir noves veritats. L’art inventiva d’Agrippa, molt més complicada que l’art lul·liana, no té les implicacions teològiques d’aquesta, i pretén d’aconseguir el saber universal. Posteriorment escriví De incertitudine et vanitate scientiarum (1530), la seva obra més important, on critica l’art lul·liana i afirma que la fe senzilla és l’únic camí per a la veritat. En De oculta philosophia , defensà la màgia com la veritable ciència.