Estudià a la Universitat Johann Wolfgang Goethe de Frankfurt i a la Universitat de Tecnologia de Darmstadt, on es llicencià (1966) i doctorà (1969) en física. Es traslladà a Ottawa (Canadà) per a un postdoctorat a la Universitat Carleton (1969-72), i ingressà aleshores a l’Institut de Física de l’Estat Sòlid del Centre d’Investigació de Jülich, Renània del Nord, on continuà col·laborant tot i estar jubilat des del 2004. El 1988 descobrí, simultàniament amb Albert Fert, la magnetoresistència gegant (GMR), un efecte mecànic quàntic que permet que petits canvis magnètics generin grans variacions en les resistències elèctriques, i que ha esdevingut cabdal en les tasques computacionals i de nanotecnologia, que repercutiren sobretot en la multiplicació de la capacitat d’emmagatzematge dels dispositius de telefonia mòbil i en els ordinadors. Entre els guardons rebuts destaquen la nominació d’Inventor Europeu de l’Any (2006), els premis Japó (2007) i Wolf de física (2007) i el premi Nobel de física (2007), juntament amb Fert.