Estudià a la Phillips Academy d’Andover i, després d’una breu estada al Kenyon College de Gambier (Ohio), viatjà per França, Anglaterra i Nova York, on s’instal·là definitivament el 1957. Els primers anys féu escultures en fusta, influïdes per Brancusi i F. Stella. A partir dels anys 1958-60, canvià d’orientació i assolí les característiques escultures d’elements modulars i geomètrics que el situaren com un dels màxims representants de l’art minimal dels anys seixanta. El 1965 participà en la mostra Shape and Structure , juntament amb R. Morris, D. Judd, L. Bell, L. Zox, i l’any següent a Primary Structures a Nova York. A partir d’aquell moment la seva presència en galeries és continuada, com també ho són les retrospectives i la participació en les fires d’art més importants. Conegut principalment pels seus treballs amb materials ordinaris com maons o pedra, de formats horitzontals i modulars, també destacà pel seu llegat en poesia (el 1995 donà a la Fundació Chinati més de 500 fulls amb poemes del 1958-72). El 1996 es féu una gran retrospectiva del seu treball escultòric Carl André Sculptor 1996 al Museum Haus Lange i al Museum Haus Esters de Krefeld (Alemanya) i el 2000 es presentà una exposició retrospectiva de la seva obra a la Whitechapel de Londres, que es caracteritzà per la reintroducció del treball poètic de l’artista.