Germà del director cinematogràfic Gonçal Herralde, estudià enginyeria industrial per incorporar-se a l’empresa familiar, però al final de la dècada de 1960 abandonà aquesta professió per dedicar-se a l’edició. L’any 1969 fundà l'Editorial Anagrama, de la qual fou director des d’aleshores, i que esdevingué una de les més prestigioses del món literari en castellà pel seu plantejament arriscat i innovador. Les seves col·leccions inclouen versions d’alguns escriptors catalans actuals de més projecció. El 2010, coincidint amb l’inici de la venda d’Anagrama al grup Feltrinelli, començà la seva retirada com a director de l’editorial, i el gener del 2017 en cedí la direcció a Sílvia Sesé mantenint, però, la presidència.
És autor de diverses obres relacionades amb la seva experiència com a editor: Opiniones mohicanas (2000), Flashes sobre escritores y otros textos editoriales (2003), El observatorio editorial (2004), Para Roberto Bolaño (2005), Por orden alfabético. Escritores, editores, amigos (2006), Canutos con Copi. Aventuras de un editor (2008), El optimismo de la voluntad. Experiencias editoriales en América Latina (2009) i Un día en la vida de un editor (2019).
La seva trajectòria com a editor ha estat reconeguda amb nombrosos guardons, entre d’altres el Premio Nacional a la Mejor Labor Editorial Cultural (1994), el Targa d’Argento de l’Associazione Biblioteca Europea i el diari La Stampa (1999), el premi Clarín dels llibreters d’Oviedo (2000), la Creu de Sant Jordi (2000), el premi al Mèrit Editorial de la Fira del Llibre de Guadalajara (2002), el premi a la traducció del Ministeri de Cultura italià (2003), el premi Grinzane (2005), el Lifetime Achievement Award de la Fira del Llibre de Londres (2012), la Medalla d’Or del mèrit en les belles arts del Ministeri de Cultura espanyol (2014), el premi Ressenya dels periodistes culturals de Catalunya (2015), la Medalla d’Or del Círculo de Bellas Artes de Madrid (2015) i el premi Atlàntida del Gremi d’Editors de Catalunya (2017).