Lloc de caceres reials, hi fou construït un primer palau el 1405. Entre el 1547 i el 1558 hi fou edificat el palau actual, restaurat després d’un incendi el 1614 i reformat definitivament el 1772. És un edifici de planta rectangular amb torres als angles i tres patis interiors. Residència de Francisco Franco (1939-75), a l’actual barri homònim cresqué la zona residencial de Mingorrubio per a la seva guàrdia personal. L’octubre del 2019 foren traslladades al cementiri de Mingorrubio les despulles del dictador, procedents del Valle de los Caídos. Actualment el palau és un museu i també una de les residències de la família reial espanyola.