Fill del dirigent obrer Wenceslao Carrillo, d’infant es traslladà a Madrid amb la seva família, hagué d’interrompre els estudis secundaris i entrà al món laboral com a aprenent en una impremta. Elegit secretari general de les Juventudes Socialistas del Partido Socialista Obrero Español, s’afilià també a la Unió General de Treballadors. Des del 1932 col·laborà regularment a El Socialista.
Participà en l’aixecament revolucionari d’Astúries (1934) i fou empresonat fins al febrer del 1936. El mateix any promogué la unificació de les joventuts socialistes i comunistes (Juventudes Socialistas Unificadas). Distanciat de l’ideari de Largo Caballero, intentà també sense èxit incorporar la trotskista Izquierda Comunista al PSOE, i l’entrada d’aquest a la Internacional Comunista.
En esclatar la Guerra Civil Espanyola, fou designat capità de l’exèrcit republicà. Al novembre del 1936 ingressà al Partido Comunista de España i fou designat conseller d’ordre públic de la Junta de Defensa de Madrid. Tres dies després d’accedir a aquest càrrec, tingué lloc a la localitat madrilenya de Paracuellos del Jarama una massacre d’uns 3.000 partidaris de l’aixecament de Franco, que foren afusellats i enterrats en fosses comunes. La responsabilitat de Carrillo en aquests fets ha estat objecte de polèmiques recurrents, sobretot després del franquisme.
Exiliat el 1939, fou proposat per a ministre del Govern republicà a l’exili (1945-47) i refusà el càrrec. Durant l’exili, visqué en diverses ciutats, però residí sobretot a París, i fou nomenat responsable d’organització del PCE a Espanya. Als anys cinquanta tingué unes relacions difícils amb la cúpula del partit liderat per Dolores Ibárruri amb motiu del seu intent de renovar els mecanismes de participació en la jerarquia del partit i promogué un canvi d’orientació cap a la “reconciliació nacional” (1956).
Quan assumí la secretaria general (1960), es distancià de l'URSS i s’enfrontà a l’ortodòxia del partit representada per Enrique Líster arran de la invasió soviètica de Txecoslovàquia, que condemnà. Tanmateix, s’enfrontà també a alguns militants destacats, especialment Jorge Semprún i Fernando Claudín, que acusaven Carrillo de totalitari, polèmica que culminà amb l’expulsió d’ambdós (1964). Des dels anys setanta, juntament amb Enrico Berlinguer, fou un dels definidors de l'eurocomunisme, que acceptava el pluralisme polític i les regles de joc democràtiques.
El 1974 inspirà la creació, a París, de la Junta Democrática de España, i, mort el general Franco, retornà clandestinament de l’exili (1976) i esdevingué una peça clau de la Transició espanyola en contactar amb el cap de Govern Adolfo Suárez, a qui garantí la lleialtat del PCE a la monarquia constitucional espanyola i al règim democràtic que succeí el franquisme. Un cop legalitzat el partit, fou diputat al Congrés per Madrid des del juliol del 1977 fins al 1986, i participà en l’elaboració de la Constitució de 1978.
Durant l’intent de cop d’estat del Vint-i-tres de febrer, sobresortí per la seva actitud davant dels colpistes (juntament amb el general Manuel Gutiérrez Mellado i el president Adolfo Suárez fou l’únic membre del Congrés en desobeir-los). Tot i això, la crisi del PCE a partir del 1981 i la seva desfeta electoral de l’any següent l’obligaren a dimitir de la secretaria general (1982), però la voluntat de conservar un fort ascendent sobre l’organització comunista el portà a l’enfrontament amb la nova direcció, encapçalada per Gerardo Iglesias, la qual l’expulsà del comitè central (1985).
A les eleccions legislatives del 1986, Carrillo es presentà encapçalant una candidatura pròpia, però no obtingué escó. El 1987 fou elegit president del Partido de los Trabajadores de España-Unidad Comunista (PTE-UC), en el qual es reagruparen els seus seguidors, però el 1991 deixà el càrrec quan aquest partit s’autodissolgué i els seus militants passaren al PSOE (en el qual ell no ingressà, tot i donar-li suport).
Des d’aleshores es retirà de la política professional i es dedicà a escriure assaig polític, articles a la premsa i memòries, a pronunciar conferències i a participar en col·loquis en els mitjans de comunicació. Rebé diversos reconeixements, entre els quals cal esmentar el doctorat honoris causa per la Universitat de Madrid (2005), l’homenatge de la Fundación Sabino Arana (2008) i la Medalla al Mèrit al Treball (2008).
Entre els molts dels seus llibres publicats hom pot esmentar Después de Franco, qué? (1965), Nuevos enfoques a problemas de hoy (1967), Demain l’Espagne (1974), Eurocomunismo y Estado (1977), El año de la Constitución (1978), Memoria de la Transición (1983), Memorias (1993), La gran Transición. ¿Cómo reconstruir la izquierda? (1995), Juez y parte. 15 retratos españoles (1996), La memoria en retazos (2003), La crispación en España. De la Guerra Civil a nuestros días (2008), Dolores Ibárruri. Pasionaria, una fuerza de la naturaleza (2008), Los viejos camaradas (2010) i La difícil reconciliación de los españoles (2011).