Es llicencià en dret el 1974 a Leiden. Fou funcionari de l’ambaixada de Ghana (1976-78), delegat a l’OTAN fins el 1980 i, fins el 1986, adjunt al ministeri d’afers estrangers. Aquest any fou elegit diputat al parlament per l’Aliança Democratacristiana. Membre de l’Assemblea del Consell d’Europa, de la Unió Europea Occidental (1986-94) i de l’Assemblea de l’OTAN (1994-97), en 1997-2001 fou cap dels democratacristians holandesos, i del juliol del 2002 al desembre del 2003, ministre d’afers estrangers. El 2003 ocupà la presidència rotatòria de l’OSCE. Al gener del 2004 substituí George Robertson com a secretari general de l’OTAN. Al front de l’Aliança, durant el seu mandat tingué lloc l’ampliació de més abast amb la incorporació de Bulgaria, Estònia, Lituània, Letònia, Romania, Eslovàquia i Eslovènia (2004), Croàcia i Albània (2009), el traspàs de les forces de pacificació de l’OTAN a Bòsnia al nou cos militar de la UE (EUFOR) el 2004, l’increment de les tropes de l’OTAN a l’Afganistan i l’ofensiva antitalibana (2006) i la crisi de relacions amb Rússia arran de l’ofensiva militar d’aquest país a Geòrgia (2008), amb la qual, juntament amb Ucraïna, havia impulsat negociacions per a un eventual ingrés a l’Organització. L’abril de 2009, poc després que França anunciés el retorn a l’estructura militar de l’OTAN, hom designà el danès Anders Fogh Rasmussen per a rellevar Scheffer en el càrrec a la fi del seu mandat al mes d’agost.