Començà els estudis el 1942 a la Technische Hochschule de Munic, on es titulà el 1946. La seva formació continuà amb estudis d’escultura a l’Acadèmia de Belles Arts. Fill de pare arquitecte, Dominikus Böhm (Jettingen, 23 d’octubre de 1880 – Colònia, 6 d’agost de 1955), treballà en l’estudi patern entre el 1947 i el 1950. L’any 1951 viatjà a Nova York i col·laborà en l’estudi de Cajetan Baumann. Quan morí el seu pare el 1955, es feu càrrec de l’estudi a la ciutat de Colònia.
És autor d’una gran quantitat d’edificis, com ara esglésies, museus, teatres, centres culturals, oficines i habitatges. La seva obra es caracteritza per la simplicitat malgrat la complexitat d’una arquitectura que revisa el moviment modern. Böhm aplicà els seus coneixements escultòrics en obres com l’església de Neviges (Rin del Nord-Westfàlia, 1962) o la biblioteca de l’Església Jove de Colònia (Rin del Nord-Westfàlia,1968). El 1986 rebé el premi Pritzker d’arquitectura.