Des de mitjan segle XVII consta l’existència de fra Bartomeu (popularment fra Bartolo), que visqué en una cova al puig que duu el seu nom, prop de l’ermita de Sant Miquel. Els carmelitans s’hi establiren el 1694 i donaren al convent (bastit en 1697-1733) el nom de desert per tal com el destinaren a centre de vida eremítica. Als vessants i raconades de la vall es construïren una vintena de capelles i petits eremitoris per a penitents i ermitans, iniciades amb la capella del Naixement (1698). El 1783 hi hagué un esllavissament de terres que destruí el primitiu convent i en 1784-96 en fou bastit un de nou. Gràcies a l’ajuda prestada pels carmelitans durant l’epidèmia de còlera del 1834, l’Ajuntament de Castelló de la Plana obtingué que el convent no fos exclaustrat a la desamortització del 1835.
Des del 1860 funcionà un observatori astronòmic al pic de Bartolo; actualment hi ha un repetidor de televisió. En 1900-02 s’erigí la creu monumental que presideix el desert. El convent subsisteix encara i els frares exploten una destil·leria (Licor Carmelità) al peu de la serra, prop de Benicàssim. És un indret turístic, molt visitat; cap al 1967 hi fou construït un hostal.