Es formà al Conservatori de Bolonya, on estudià violoncel i composició. Primer violoncel de l’orquestra del Teatro Comunale de Florència (1936-66), des del 1942 fou professor d’aquest instrument al Conservatori de la ciutat de Florència. A partir de l’any 1960 s’especialitzà en la música electrònica. Creador de l’Estudio di Fonologia Musicale (S2FM), impartí cursos al conservatori florentí i també a la Universitat d’Indiana (EUA). Si bé les seves primeres obres, compostes cap a la dècada dels anys quaranta, mostraven una estètica pròxima a la dels compositors italians anteriors a la Primera Guerra Mundial, a poc a poc derivà cap a una recerca musical seguint procediments dodecatònics, especialment en el Quartet per a corda (1957). A partir d’aquí, la voluntat expressiva de Pietro Grossi s’inserí plenament en la investigació sonora amb l’ús de les matemàtiques i de la música electrònica en la composició. Més endavant, s’interessà per l’aplicació de l’ordinador a la creació musical, interès del qual nasqué una de les obres més importants del seu catàleg, la Musica algoritmica (1964). És considerat per la musicologia italiana com una de les figures pioneres de la música electrònica del nord d’Itàlia.