Format durant tres anys a l’estudi de Peter Behrens, assolí una formació d’arrels neoclassicistes. Participà, en un primer moment, en els grups i moviments artístics revolucionaris: fou membre del Novembergruppe i del Zehner Ring i fou un dels fundadors de la revista G (inicial de Gestaltung, ‘forma’). Tingué, també, importants contactes amb components del Stijl i amb constructivistes russos. Fou director (1930-33) del Bauhaus. El 1937 emigrà als EUA, on dirigí el departament d’arquitectura de l’actual Illinois Institute of Technology.
Quan el 1921 realitzà els projectes de gratacels i el 1922 el palau d’oficines de formigó —els primers projectes personals—, ja establí les seves línies de treball: subratllar el valor intrínsec de l’estructura metàl·lica i l’obertura de l’espai interior. A l’obra que feu a Europa predomina aquesta valoració de l’espai, insòlita dins la tendència racionalista: a la casa de rajoles del 1923 i al monument a Karl Liebknecht i Rosa Luxemburg (Berlín, 1926) prolonga les horitzontals cap a l’espai de l’entorn. En el pavelló alemany de l’Exposició Internacional de Barcelona (1929) es desenvolupà en la seva major complexitat la interrelació d’espais interns i la connexió amb l’espai extern. Repetí aquesta experiència a la casa Tugendhat (Brno, 1930). L’època nord-americana comporta, per l’entorn on es crea, la preferència pels volums, alhora que depura els materials constructius i arriba a un perfeccionisme inusual. El campus de la Universitat de Chicago (1939-55) i el Seagram Building (1956-59) poden ésser les seves obres més característiques d’aquest moment.
També feu alguns dissenys de mobles, incorporant els nous materials industrials: el més conegut dels quals és la cadira anomenada Barcelona, creada per al pavelló alemany de l’Exposició del 1929. Com a interiorista, des del 1925 tingué una col·laboradora essencial en la dissenyadora Lilly Reich (1885-1947), companya sentimental i professional des d’aquest any fins el 1938. Amb Mies van der Rohe, Reich fou nomenada directora artística del pavelló alemany a Barcelona (bé que posteriorment l’edifici ha restat associat exclusivament al nom de l’arquitecte). Col·laboraren també, entre d’altres, en l’Exposició de la Moda de París (1927), en l’esmentada casa Tugendhat i, després de la clausura del Bauhaus (d’on Reich fou directora de la secció d’interiorisme, metall i pintura mural), en l’exposició Deutsches Volk – Deutsche Arbeit (‘Poble alemany – Treball alemany’, 1934), sota les directrius del Tercer Reich, tot i que cap dels dos fou membre del partit nazi.
L’obra de Mies van der Rohe, per la seva coherència de plantejaments —en intentar d’unir els postulats racionalistes amb l’interès espacial, juntament amb un tractament rigorós dels nous materials—, ha estat una de les més importants i de més influència dins l’arquitectura del segle XX. Amb l’objectiu de reconstruir el pavelló de l’Exposició del 1929, l’Ajuntament de Barcelona creà el 1983 la Fundació Mies van der Rohe.