El llogaret de Castellmeià, dit antigament Meià, és situat a migdia del poble del Llor, prop de la carretera de Tarroja a Sant Ramon de Portell. El lloc és presidit per la majestuosa estampa del seu castell, el qual és esmentat com a castrum Mediani el 1044, quan era feudatari del castell Guillem Elomar. Cal advertir de la possible confusió entre les referències a aquest castell de Meià i al de Mejanell, situat prop de la Manresana, ja que en les escriptures medievals ambdós són grafiats sovint com a castrum Mediano o Midiano.
La fortalesa de Meià era sota el domini de la canònica de Santa Maria de la Seu l’any 1132, la qual hi tenia com a feudatari Gombau de Benavent.
Com el Llor i el Far, el lloc de Meià passà a la senyoria del monestir de Santa Maria de Solsona abans del 1157. Per un document d’aquesta data se sap que Guillem, paborde de Solsona, amb el consell dels seus canonges, cedí a Bernat de Vilaseca i Ermessèn i als seus descendents l’alou de Mediani amb totes les seves pertinences.
Al començament del segle XIV el castell de Meià era de Galceran de Vergós, el qual el 1314 es casà amb Berenguera, filla del senyor de la Morana. Segons el fogatjament dels anys 1365-70 el lloc de Meià, amb vint famílies, era senyorejat per Berenguer de Vergós. Foren precisament els Vergós els qui feren bastir l’impressionant castell palau goticorenaixentista actual, segurament damunt les estructures del primitiu castell. A la fi del segle XVII, el lloc de Castellmeià passà a mans de Francesc de Junyent i de Marimon, al qual Felip V concedí el títol de marquès de Castellmeià el 1716.
El títol de marquès de Castellmeià i el senyoriu del lloc passà successivament als Amat i als Càrcer fins a esdevenir dels Vilallonga, marquesos de Castellbell.