És obra de diferents arquitectes (Gilles le Breton, S. Serlio, autor del pati Oval i, en temps d’Enric II, F. Primaticcio i P. Delorme). Fou construït al voltant de tres patis: el del Cavall Blanc, l’Oval i el de la Font. Sota Enric IV hom feu la capella de la Trinitat i el pati dels Oficis (1609). J.A. Du Cerceau construí l’escala de ferradura de la façana durant el regnat de Lluís XIII. Lluís XV encarregà a J.A.Gabriel un dels pavellons de la façana principal, i Napoleó I feu modificar algunes estances per P.F. Fontaine i C. Percier.