Serví l’exèrcit papal, però molt aviat es decantà vers la diplomàcia. Secretari dels legats pontificis de la Valtellina, Ferrara i Milà, actiu intrigant en el conflicte per la successió de Màntua (1628-30) i negociador de la pau de Cherasco (1631), féu coneixença de Richelieu, que, adonant-se dels seus dots polítics, el protegí decididament i l’introduí a la cort de França. Nunci extraordinari a París (1635) i padrí de Lluís XIV, s’establí a França el 1640, on fou creat cardenal (1641) i ministre d’estat.
En morir Richelieu, restà com a cap del consell, formà part del consell de regència (1643) i aviat fou el braç dret de la regent Anna d’Àustria, l’home fort de la política francesa i el veritable preceptor de Lluís XIV. Els objectius primers de la seva política foren assegurar institucionalment i de fet el poder absolut de la corona i l’hegemonia europea dels Borbó enfront dels Àustria. Les guerres exteriors —del Nord, amb l’Imperi, amb Castella— comprometeren greument les finances franceses, i l’augment dels imposts, amb els quals hom intentà d’eixugar el dèficit, especialment impopulars en una etapa de recessió econòmica general, reforçaren les posicions dels qui retreien a Mazzarino el seu govern personal.
El 1648 esclatà la Fronda; Mazzarino n'aprofità les indefinicions i es presentà com a salvador de França enmig del caos provocat per la guerra i les desavinences dels seus enemics (1653). Pactà amb l’Anglaterra de Cromwell per tal d’aïllar els Països Baixos espanyols per mar, i aconseguí, a més, la no-intervenció de l’Imperi. En aquesta situació de superioritat, negocià amb la corona de Castella el tractat dels Pirineus (1659), coronament de la seva obra política. En morir ell, començà el regnat personal de Lluís XIV.