En l’actualitat no queda cap rastre del castell de Casserres, encara que tenim constància de la seva importància per molts documents. Queda, però, el seu record en la tradició i en l’escut de la vila. Efectivament la tradició oral situa el castell de Casserres en un serrat que encara rep el nom d’“EI Castell”, el qual és també conegut com el Serrat de Terra Cuca; és aquest un turó arrodonit i amb una gran esplanada formada per roques on es poden veure indicis del que podia haver estat una muralla defensora. Un altre element fosc sobre aquest castell el trobem en un document que guarda un particular del poble, on en referir-se al castell parla de “castrum inferiorem et castrum superiorem”, és a dir, de dos castells a Casserres, edificats a nivells diferents. Segons l’estudiós local, senyor Mas, un castell podia trobar-se situat al Serrat de Terra Cuca i l’altre en l’actual emplaçament de l’Ajuntament. Malauradament no queda cap resta per a poder comprovar el que només són hipòtesis. La primera referència sobre Casserres la trobem l’any 798, quan Lluís I el Piadós encarregà al comte Borrell de conquerir i organitzar el país i establir-hi una línia de fortificacions que tenia com a puntals bàsics Cardona, Casserres i Osona. S’ha d’entendre que el Casserres fortificat fou el de Berguedà i no el monestir homònim d’Osona, com s’ha pretès repetidament, car aquesta fortificació lliga amb la línia defensiva, l’establiment de la qual és descrit per l’Astrònom, el cronista anònim i biògraf de Lluís el Piadós, en la seva obra Vita Ludovici Pii Imperatoris.
L’any 889 tornem a trobar una referència al castell en un document de venda a favor del monestir de Santa Maria de Serrateix, en el qual podem llegir que “Condeusindus” i la seva muller Ermessenda venen una vinya amb arbres que posseeixen dins el terme del castell de Casserres a aquest monestir. El dia 20 de gener de l’any 907, Nantigís, bisbe d’Urgell, consagrà l’església de Sant Pau de Casserres, situada dins el terme del castell del mateix nom, per disposició del comte Miró el Jove, el qual assegura que l’església fou aixecada pel seu pare, Guifré el Pelós i els seus seguidors, però que quedà sense consagrar. D’acord amb la voluntat comtal, el bisbe la consagra, la constitueix en parròquia dins un terme que detalla i confirma la seva dotació. El sacerdot que la tingui haurà de pagar cada any a Santa Maria de la Seu d’Urgell un cens consistent en 6 modis entre pa i vi, tres sous “in parata” i un moltó. L’any 1009 retrobem el castell de Casserres en un document de donació que el vicari Guifré i la seva muller Igilberga fan a Santa Maria de Serrateix d’un alou que tenen al comtat de Berguedà, dins el terme d’aquest castell, al lloc anomenat “Tiurana”. Les afrontacions d’aquest alou són el castell de Casserres i l’església de Sant Pere. Pocs anys més tard, el 1034, Letgarda i el seu fill el vescomte Guifré donen a Serrateix un alou que tenen al terme del castell de Casserres, al lloc dit “Mas Tiurana”. Sembla que pot tractar-se d’una confirmació de la donació feta l’any 1009.
Al final del segle XI el castell de Casserres és anomenat entre les possessions del comte de Cerdanya. En concret, quan el comte Guillem Ramon de Cerdanya fa testament, l’any 1094, llega al seu fill Bernat el Berguedà, i esmenta explícitament tota una sèrie de castells, entre ells el de Casserres. Entre 1094 i 1109 Dalmau Bernat, vescomte de Berguedà prestà jurament al comte cerdà Guillem Ramon per aquest castell i ho repetí dues vegades més, una entre el 1109 i el 1131 davant Bernat, hereu de Guillem Ramon en el comtat, i l’altra el 1131 davant el comte Ramon Berenguer III de Barcelona, quan el comtat de Cerdanya passà a integrar-se al de Barcelona. Trobem de nou el mas “Codina Tiurana” del terme del castell de Casserres, en un document de l’arxiu de Solsona dels fons de Serrateix, datat l’any 1128, en el qual Guillem, abat de Serrateix dona al monestir i al seu sagristà aquest mas.
El 9 d’octubre de l’any 1182 el vescomte Guillem de Berguedà, juntament amb la seva muller Berenguera i els seus fills Guillem (el trobador), Ramon, Berenguer i Bernat donen a l’orde militar del Temple de Jerusalem una part de dos masos que posseïen dins el terme dei castell de Casserres, al lloc anomenat “Mid Mal”. Un any més tard, el 1183, quan el vescomte fa testament, llega al seu fill Guillem, el castell de Casserres juntament amb altres possessions al Berguedà. I anys més tard, el 1187, quan el trobador farà testament donarà molta importància a les seves possessions de Casserres, deixant al seu germà Berenguer el castell, que diu tenir en feu del rei d’Aragó, el mas Vilaró de Casserres a l’Hospital de Jerusalem i el mas Trullas a Santa Maria de la Guàrdia. Segons Jacint Vilardaga, després de la conquesta de Mallorca, la vila de Casserres fou atorgada pel rei als Berga com un feu. Això podia ser possible doncs des de l’any 1199 el vescomtat de Berguedà era possessió reial per la venda feta per Ramon de Berguedà, germà i hereu del trobador al rei Pere el Catòlic. Aquesta dependència de Casserres als Berga sembla versemblant si tenim en compte que el castell de Casserres figura entre les possessions de Sibil·la, senyora de Berga i última hereva dels Berga. Aquesta l’any 1309 signà un document de venda-permuta amb el rei Jaume II i segons aquest document, Sibil·la cedia al rei molts castells del Berguedà, entre ells el de Casserres; aquest, en canvi li dona una quantitat important de diners i diverses possessions, com els castells de Tamarit, Gelida, Cervelló, etc. D’aquest mateix segle data un document que aporta una notícia important sobre el castell de Casserres.
L’any 1393, per tal de solucionar la problemàtica que s’havia iniciat entre la vila de Berga i el rei Joan I que havia cedit la vila en dot de la seva filla Joana en el seu matrimoni amb el comte Mateu de Foix, s’arribà a una concòrdia en la qual el rei, en premi a la seva fidelitat i a una quantitat important de florins d’or, atorgà a la vila de Berga i als seus habitants tota una sèrie llarga de gràcies i privilegis, entre els quals que els habitants de Casserres s’havien de recollir obligatòriament dintre les muralles de Berga en temps de perill, i se suposa que mitjançant un pagament. Això s’havia de fer perquè, segons diu el document, el rei Pere el Cerimoniós, pare de Joan I, havia manat als consellers i a la Universitat de la vila de Berga que enderroquessin el castell de Casserres. El document no diu el perquè. Podem fer, però, algunes suposicions; la més versemblant sembla que el castell amenaçava ruïna. Queda com una mera hipòtesi. Així doncs tenim documentat el castell de Casserres amb força precisió entre els segles VIII i XIV.