El territori de l’actual municipi de les Oluges formà part integrant de l’antiga marca berguedana o del comtat de Cerdanya. L’indret és mencionat ja el 1015, any en què en el primer document de Calaf es diu que el seu territori termenejava en la “villa herema que dicunt Uvlugia”, senyal evident que el lloc estava encara despoblat i desorganitzat. És més que probable que a partir de llavors s’iniciés la repoblació de les Oluges i es construïssin dos castells, el de l’Oluja Sobirana i el de l’Oluja Jussana, dins un únic terme. També hi hauria la possibilitat que en un inici hi hagués tan sols un castell, i que temps després se’n bastís un segon.
L’any 1043, el matrimoni format per Guillem i Ingilberga, conjuntament amb llurs fills, cediren una peça de terra erma que tenien per aprisió, situada al comtat de Berga, al lloc dit Vulunga, als esposos Berenguer Hostèn i Biliarda. Dos anys més tard, el 1045, el “termino de Oluuga” és esmentat entre les afrontacions territorials del castell del Llor, el qual fou cedit per l’esmentat Guillem a la seva esposa Ingilberga i a un de llurs fills, dit Hugó.
Els comtes de Cerdanya tingueren inicialment l’alt domini del castell de l’Oluja. Així, Guerau II Ponç, vescomte de Cabrera, casat amb una filla de Ramon Miró, dita Estefania Mala-signada, prestà jurament de fidelitat al comte Guillem de Cerdanya entre el 1072 i el 1092 pels castells de la Manresana, Castellnou, Brufaganyes i l’Oluja. Vers mitjan segle XII, en el testament de Bernat Arnau datat el 1143 consta que aquest deixà al seu fill Guillem “meo castrum Oluge” amb tots els drets que li eren propis.
D’aquest indret sorgí un llinatge homònim, alguns membres del qual són documentats ja a l’inici del segle XII. L’any 1125 apareix un Guerau d’Oluja, el qual podria ser fill de Guerau Ponç. Els Oluja van tenir una destacada intervenció en la vida política dels segles XII i XIII, i participaren en moltes empreses bèl·liques importants com la conquesta de Lleida. D’altra banda, diversos personatges d’aquesta nissaga van ser destacats membres de l’orde del Temple. De l’any 1196 hi ha notícia que Gombau d’Oluja empenyorà al comanadordel Temple de Barberà diversos castells, entre els quals el castell i la vila d’Oluja.
Al segle XIV ja apareix documentat que l’antic terme del castell d’Oluja era dividit en dues parts, l’Oluja Sobirana i l’Oluja Jussana. L’any 1358 Galceran d’Oluja posseïa no sols l’Oluja Sobirana sinó que també era senyor de Montpalau, Vergós Guerrejat, la Rabassa i d’altres termes segarrencs. Segons els fogatjaments confegits cap al 1381, l’Oluja Sobirana era senyorejada per Ramon d’Oluja i tenia 11 focs, i l’Oluja Jussana, dividida en condomini entre Pere d’Oluja i el monestir de Santes Creus, tenia 15 focs.
Al segle XVII la jurisdicció criminal del terme de les Oluges era del rei. Els últims senyors de les dues demarcacions de les Oluges foren els Rocafort, que posseïen la jurisdicció del lloc el 1831.
Actualment a les Oluges hi ha dos castells o casals senyorials. El primer, del qual resten només unes parets, es troba al sector superior del poble i correspon a l’antiga Oluja Sobirana. El segon és el castell de l’Oluja Jussana, proper a l’església parroquial de Santa Maria d’Oluja, i és una construcció pròpia del segle XVI.