Graduat en dret a la Universitat de Santa Clara (1963), els anys seixanta donà suport a Richard Milhous Nixon en les campanyes per a la presidència (1960) i com a governador de Califòrnia (1962). Després de tres anys a l’exèrcit (1964-1966), l’any 1968, sota el mandat de Nixon, fou nomenat director de l’Oficina de Drets Civils del Govern, càrrec que abandonà el 1970, en protesta per les traves per suprimir la segregació racial a les escoles dels estats del sud dels EUA.
Passat a les files del Democratic Party , hi ocupà càrrecs de direcció a Califòrnia i s’involucrà activament en la lluita contra la discriminació racial. L’any 1976 fou elegit congressista per primer cop, escó que conservà fins el 1992. Sota la presidència de William Jefferson Clinton (1993), ocupà el càrrec de director de l’Oficina de Gestió i del Pressupost i prioritzà el control de la despesa i el dèficit, i del 1994 al 1997 fou cap de gabinet del president.
Posteriorment ocupà càrrecs acadèmics a la Universitat de Monterey, a la qual donà un fort impuls, i el 1998 hi creà el centre Leon & Sylvia Panetta Institute for Public Policy; a més, també impartí diferents cursos a les universitats de Califòrnia i Santa Clara. Al gener del 2009 Barack Hussein Obama el designà director de la Central Intelligence Agency en substitució de Robert Michael Gates , càrrec en el qual fou substituït per David Petraeus, al juny del 2011. El mes següent rellevà Robert Gates com a secretari de defensa.