Carter d’Hauterives, portat d’un desig de posteritat, el 1879 inicià tot sol la construcció del seu palais idéal, que no acabà fins el 1905; fet de pedres estranyes triades i treballades per ell, constitueix una obra monumental d’una fantasia folla, inspirada llunyanament per il·lustracions romàntiques i pel mudèjar portuguès difós a França arran de l’Exposició Universal de París del 1878. Construí també la seva pròpia tomba. Els surrealistes el valoraren el 1932.