En l’adolescència fou un jugador de bàsquet prometedor i, durant aquesta època, esdevingué també drogoaddicte. Acabada l’educació secundària cursà estudis a la Universitat de Columbia. A disset anys publicà el primer recull de poemes, Organic Trains (1967), que cridà l’atenció dels ambients underground, i entrà en contacte amb figures destacades d’aquest món com Andy Warhol i d’altres. Reculls posteriors foren 4 Ups and 1 Down (1970) i Living at the Movies (1973), però l’obra que el convertí en un clàssic de la contracultura fou el dietari The Basketball Diaries (1978), que escriví dels tretze als setze anys, i en què reflecteix les seves vivències com a estudiant, jugador de bàsquet, les seves experiències sexuals, la prostitució empesa per la seva drogoaddicció, l’art, la literatura, les opinions de l’època, etc. El 1978 formà el grup de punk-rock Amsterdam, que posteriorment anomenà Jim Carroll Band, que aconseguí una certa projecció amb la cançó “People Who Died”, del seu primer disc Catholic Boy (1980). Publicà també els àlbums Dry Dreams (1982) i I Write Your Name (1983), després dels quals retornà a la poesia amb els reculls The Book of Nods (1986), Fear of Dreaming (1993) i Void of Course (1998). Fou també molt apreciat com a rapsode.