Membre d’una família de la noblesa romana, fou prefecte de Roma i, després de la mort del seu pare, es feu monjo. Vers 585-586 es convertí en conseller del papa Pelagi II, a qui succeí el 3 de setembre de l’any 590. Consolidà la supremacia de l’Església de Roma, aproximant-se a l’Espanya visigòtica i tractant de sotmetre les esglésies orientals a la seva jurisdicció. Escriptor prolífic, deixà homilies sobre els evangelis i altres textos bíblics. La seva obra Moralia, un comentari dedicat al Llibre de Job, es convertí en una lectura molt difosa en segles posteriors. Se li atribueix la fundació, o almenys la reorganització, de la institució que més tard fou coneguda pel nom de Schola Cantorum. Sembla que introduí algunes reformes a la litúrgia romana, com ara el cant del kírie i de l’al·leluia en temps no pasqual. El 599 prohibí als diaques que interpretessin cants litúrgics, en especial salms i lliçons. Però la seva fama en el terreny de la música es deu a la llegenda difosa per la Vita Gregorii Magni, escrita per Joan el Diaca per ordre del papa Joan VIII (872-882). Segons aquesta obra, Gregori el Gran fou qui recopilà l’antifonari romà en fundar la Schola Cantorum, de la qual hauria estat el primer mestre. Malgrat que l’evidència mostra que l’esmentada recopilació es dugué a terme en temps del papa Adrià I (772-795), el nom de Gregori ha quedat lligat per sempre més al que durant segles ha estat el cant oficial de l’Església, el gregorià.