Graduat en dret i doctor en lletres, amplià estudis a Alemanya i posteriorment fou professor de dret polític a les universitats de Madrid, Bilbao i Deusto. Ingressà a la Companyia de Jesús i s’ordenà sacerdot (1967). El 1968 s’afilià al Partit Nacionalista Basc i el 1970 se secularitzà. Fou diputat al Congrés del 1977 al 1979, any que s’incorporà al comitè executiu (Euskadi Buru Batzar, EBB), del Partit Nacionalista Basc. L’abril del 1980 fou elegit president del partit. Protagonitzà un enfrontament amb el lehendakari Carlos Garaikoetxea, pugna que propicià que tots dos abandonessin els càrrecs respectius (1984). Posteriorment, Garaikoetxea abandonà el PNB i creà un nou partit, mentre que Arzalluz retornà a la presidència del PNB el 1987. Reelegit successivament, abandonà l’EBB el 2004. El succeí en el càrrec Josu Jon Imaz.
La seva gran influència política (malgrat no ocupar cap càrrec de govern) s’orientà a resoldre el problema del terrorisme d’ETA defensant, al mateix temps, la legitimitat dels objectius de l’organització i atacant la via exclusivament repressiva (especialment l’ús de mètodes situats fora de la legalitat). Per aquest motiu, certs comentaris seus sobre la qüestió li valgueren dures crítiques per part de mitjans de comunicació i polítics d’àmbit estatal. El 1998, la seva contribució a l’acostament a Herri Batasuna culminà en l’anomenat pacte de Lizarra, que es traduí en la primera treva important d’ETA. Malgrat l’enfrontament amb l’Estat espanyol a causa d’ETA, prioritzà també la consolidació del concert econòmic basc. El 2005 publicà el llibre de memòries Así fue.