A partir de la toponímia i del context històric, alguns autors suposen que l’origen medieval de Carme se situa en una fortalesa musulmana, que seria un esgraó en una pretesa línia defensiva que, venint del Llobregós, recorreria des de Calaf fins a Masquefa. De tota manera, no en resta cap rastre documental i tampoc és avalat per la prospecció arqueològica. El primer esment clar del castell de Carme no es produeix fins el 1321. Entre els dies 1 i 2 d’abril d’aquest any, l’infant Alfons, hereu de la corona, sojornà al castell de Carme i hi preparà l’assalt al castell d’Orpí, efectuat els dies següents. De fet, una fortalesa a Carme, en les centúries anteriors, permetria assegurar l’extrem occidental del terme de Claramunt, tot controlant la vall mitjana de la riera de Carme i situant-se en el punt de connexió entre el camí que resseguia la vall amb el camí que enllaçava amb el bell mig de la Conca d’Òdena, a l’altura d’Igualada. En el segle XII una família cognomenada Carme sembla ser-ne castlana. De tota manera, el castell no hi articulà mai l’espai. Per això totes les referències a Carme, des del seu primer esment el 1005, tracten l’indret no pas com a castell termenat sinó com a “lloc”. L’única excepció és al segle XII, que coincidint amb una sèrie de mutacions en la situació del poble, és tractat com a vila, i de nou torna a esmentar-se com a “lloc” des del segle XIII. Carme sempre formà part del castell termenat de Claramunt i, per tant, depengué dels mateixos senyors, primer els Claramunt i des del segle XIII els Cardona. Mancat d’una funció jurisdiccional i sense utilitat defensiva, el castell de Carme es desfigurà i s’integrà entre les edificacions rurals del poble, i fins i tot se’n perdé el record.