Enginyer industrial de professió, s’afilià a Falange Española, fou procurador a corts i ocupà càrrecs directius en l’administració pública del franquisme: cap nacional del Sindicato de Estudiantes Universitarios (SEU) (1962-64), director general d’Indústries Tèxtils, Alimentàries i Diverses del Ministeri d’Indústria (1966-69), secretari general de l’Organización Sindical (1969-73), governador civil de Barcelona (1974-75) i ministre de Relacions Sindicals (1975-76).
Durant la Transició s’afilià a Unión de Centro Democrático i fou nomenat ministre de Governació i Interior (1976-79). Hom li ha atribuït sovint en l'exercici d'aquest càrrec duresa excessiva, mètodes dubtosos i personal de l’antic aparell repressiu franquista, emprats per a fer front a les revoltes obreres i estudiantils, a ETA i a altres grups terroristes. Fou també senador (1977), i posteriorment ministre d’Administració Territorial amb el Govern d’Adolfo Suárez (1980-81) i amb el de Leopoldo Calvo Sotelo (1981), i vicepresident primer del Govern d'aquest (desembre del 1981 a juliol del 1982, que dimití). Ingressà al Partido Demócrata Popular (PDP), on arribà a ser membre de l’executiva i president regional a Castella i Lleó. Poques setmanes abans de les eleccions autonòmiques del maig del 1987 renuncià a ser candidat a la presidència d’aquella comunitat i abandonà el PDP per ingressar al Partido Popular, formació per la qual fou elegit diputat el 1989, el 1993 i el 1996.
A mitjan anys noranta inicià una trajectòria empresarial arran dels processos de privatització dels grans monopolis estatals: del 1997 al 2002 fou president del grup elèctric ENDESA. El 2003 el Consell de Ministres el designà comissionat per a coordinar les administracions en el desastre ecològic del Prestige, i del 2003 al 2010 fou president de Sogecable. L’any 2013 ingressà a l'Academia de Ciencias Morales y Políticas. El març del 2015 l’Audiència Nacional espanyola arxivà la demanda d’extradició de Rodolfo Martín Villa i un altre exministre franquista cursada per una jutgessa argentina a petició d’una associació que els acusava de participar en crims comesos durant el franquisme. Al març del 2017 l'ajuntament de Barcelona li revocà la Medalla d'Or de la Ciutat concedida el 1976.