Des de la seva graduació com a enginyer civil es dedicà a la recerca d’un mètode racional per a abordar els problemes de l’enginyeria de sòls. La publicació el 1925 d'Erdbaumechanik comportà que fos conegut universalment com el pare de la mecànica de sòls. Es traslladà als Estats Units d’Amèrica, on divulgà les possibilitats de la nova mecànica del sòl. Del 1925 al 1929 treballà a l’Institut Tecnològic de Massachusetts (MIT) i el 1938 passà a la Universitat de Harvard. Els anys 1930, 1943, 1946 i 1955 fou distingit amb la medalla Norman, que atorga la Societat Americana d’Enginyers Civils (ASCE). Vuit països li atorgaren nou distincions honoris causa. Fou president de la Societat Internacional de Mecànica de Sòls i Cimentacions (ISSMF). L’ASCE creà la Terzaghi Lecture i el premi Terzaghi, per tal de consolidar la importància de la seva tasca.