Al nord-oest del terme, entre els barrancs del Joncar i de Gravet, s’alça, a 491 m d’altitud, el poble de Florejacs. L’indret, conquerit al segle XI, restà inclòs dins el comtat d’Urgell; la referència més antiga del lloc es remunta a l’any 1082, quan Arnau i la seva esposa Guisla donaren a Santa Maria de la Seu i als seus canonges els castells de Claret i de Valltallada, ambdós del terme de Guissona. L’esmentat castell de Valltallada limitava, a tramuntana, amb el terme de Floriacus. Pocs anys després és documentada l’existència del seu castell; concretament, el 1087 l’ardiaca Miró Erimà deixà a Santa Maria de la Seu l’alou del Pujol, situat al terme del Floriachi castri. El 1094, el senyor o feudatari del lloc, Galceran Erimà, disposava en el seu testament que la meitat del castro de Floriaco havia de ser per a la seva filla Arsenda, mentre que l’altra meitat la deixava al seu fill Pere.
A l’inici del segle XII posseïa drets en aquesta fortalesa el cavaller Galceran d’Àger, ja que l’any 1110, detingut en captivitat, va obtenir que Pere Ponç li prestés dos-cents sous per al seu rescat en penyora de tot el que tenia “in castro Floregags”. Hom dedueix d’aquesta escriptura que Pere Ponç era llavors senyor o castlà de l’esmentada fortalesa, afirmació refermada pel seu testament, atorgat l’any 1116 abans d’anar al Sant Sepulcre, en el qual disposava que el castell de Florejacs fos cedit a Bernat Pere mentre visqués, amb la condició que es fes clergue de Santa Maria de la Seu, i que després de la seva mort, la vila i el terme de Florejacs havien de passar a la canònica de l’esmentada església. Pere Ponç era també en aquell moment senyor dels veïns castells de Palou i les Sitges.
Un document sense data concreta, però que correspon al segle XII, informa que A. Sanaüja notificà a Bernat, prior de l’església d’Urgell i als altres capitulars, la seva disposició a retornar tots els drets que els havia arrabassat “in castro de Floregas”. Als segles XII i XIII apareixen sovint en la documentació alguns personatges cognomenats Florejacs, originaris d’aquest indret.
A la darreria de la tretzena centúria el castell de Florejacs pertanyia als Alemany de Cervelló, senyors de Guimerà. L’any 1283 Guerau Alemany de Cervelló era el senyor de Florejacs i de les Sitges; en testar el 1304 va reconèixer com a esponsalici de la seva muller Blanca els castells de Florejacs, Sitges, Palou i el feu de Sanaüja; d’altra banda, concedí franquesa de tota servitud als pobladors del terme dels castells de Florejacs i de les Sitges durant deu anys després de la seva mort.
El castell de Florejacs fou el centre de la baronia del mateix nom que a partir del segle XIV canvià successivament de mans; així, dels Josa (segle XIV) passà als Cortit (1571), als Bartomeu (1574), als Agulló (1613) i als Ribera (1625). Els membres d’aquest darrer llinatge foren uns decidits partidaris de l’arxiduc Carles d’Àustria, i per aquest motiu després de la guerra de Successió se’ls confiscaren els béns. El 1725 Josep-Antoni de Ribera, baró de Florejacs, recobrà el castell. A mitjan segle XVIII passà als marquesos de Gironella, que el conservaren fins a l’abolició dels senyorius jurisdiccionals al segle XIX.
En un lloc més elevat, fora del clos antic del poble de Florejacs, s’alça un gran casal senyorial d’estil renaixentista que conserva escassos elements constructius del castell medieval. El conjunt monumental fou restaurat pels actuals propietaris i des de l’any 1993 és visitable.