Fill i net d’escultors, el 1943 interrompé els estudis d’arquitectura després de ser mobilitzat a la Segona Guerra Mundial com a pilot d’aviació. Capturat pels aliats, arran de les condicions d’habitatge al camp de presoners de Chartres, on fou internat, s'inicià el seu interès per les estructures lleugeres. Reprengué els estudis d’arquitectura, que amplià amb una estada als Estats Units, i el 1952 obrí despatx propi a Stuttgart. A l’Escola Tècnica de la universitat d’aquesta ciutat, el 1964 fundà l’Institut d’Estructures Lleugeres. És considerat un dels membres més importants de l’avantguarda arquitectònica per les seves construccions d’estructures suspeses que fan l’efecte de tendes i per les seves construccions d’inflables de plàstic. Projectà les sobrecobertes de l’Exposició Federal de Jardins de Kassel (1955) i Colònia (1957), una església evangèlica a Berlín (1961-64), el pavelló alemany de l’Exposició Universal de Mont-real (1967), les sobrecobertes mòbils del monestir de Hersfeld (1968) i les sobrecobertes de les instal·lacions olímpiques de Munic (1972). Com a teòric publicà Das hängende Dach (‘El sostre penjat’, 1954) i Neuer Lebensraum (‘Nou espai vital’, 1961), obres de gran influència en les generacions d’arquitectes més joves. Entre altres guardons, rebé el premis d’arquitectura Wolf (1997) i Aga Khan (1998), i la Medalla d’Or del Royal Institute of British Architects. Al gener del 2015, poc més d’un mes abans de la seva mort, li fou anunciada la concessió del premi Pritzker.