Les primeres notícies sobre l’existència del terme de la Llavinera es troben en la donació que l’any 1015 feu el bisbe Borrell de Vic al levita Guillem d’Oló del lloc de la Sagarra, amb els puigs de Carat, Calafell i Farrera; en les afrontacions del lloc hi figura el terme de la Llavinera (Lavineria).
El domini eminent del castell es trobava en poder dels bisbes de Vic, sense que hom pugui saber com l’obtingueren. Aquests infeudaren el castell a la família Cervera i els castlans en foren inicialment els Rocafort.
Les primeres notícies del castell corresponen als castlans. L’any 1022 Randulf, ardiaca de Vic, deixà en testament al seu fill Sunyer Randulf el castell de la Llavinera. I aquest, al seu torn, l’any 1050 el deixà al seu germà Ot Randulf. Durant la resta del segle XI la família Rocafort figura documentada com a castlans o feudataris del castell de la Llavinera. Posteriorment els Rocafort deixen de posseir aquest castell.
El domini dels bisbes de Vic i dels Cervera es documenta a partir de l’any 1064. En aquesta data el bisbe de Vic, Guillem de Balsareny i el seu nebot i futur successor en la seu episcopal, Berenguer Seniofred de Lluçà, feren un conveni amb Hug Dalmau de Cervera i amb la seva muller Adalendis, als quals encomanaren els castells d’Aguilar de Segarra i de la Llavinera en feu, tal com els tenia Sunyer Randulf de Rocafort. Dos mesos més tard els Cervera feren una concòrdia amb els Rocafort sobre els alous que aquests tenien en els termes d’Aguilar i de la Llavinera, els primers reconegueren les propietats dels Rocafort en aquests termes. Els Cervera continuaren mantenint el domini del castell de la Llavinera com a feudataris dels bisbes osonencs. Així, en el testament d’Hug Dalmau de Cervera de l’any 1058 consta que deixà el dit castell al seu fill Ponç Hug. No obstant això, el castell de la Llavinera fou traspassat abans al seu fill, ja que l’any 1086 el bisbe de Vic, Berenguer Seniofred de Lluçà, feu un conveni amb Ponç Hug de Cervera sobre els castells d’Aguilar de Segarra i de la Llavinera. La darrera confirmació d’un domini dels Cervera sobre el castell de la Llavinera es troba en el testament de Ramon de Cervera de l’any 1182.
En els anys immediats, la propietat del castell passa a Ramon de Boixadors, el qual, en el tombant del segle XII al XIII, entén com a propi l’espai constituït pels tres castells termenats de Boixadors, Fortesa i Llavinera. En diferents actuacions, com les donacions efectuades el 1202 al monestir de Montserrat, Ramon de Boixadors expressa la unitat formada pels tres indrets. De tota manera, la capacitat jurisdiccional superior en el terme del castell de Llavinera, teòricament, pertanyia al rei. Precisament el seu exercici estava pendent de la disputa entre els veguers de Cervera i Manresa per tal d’incloure Boixadors i Llavinera en les respectives vegueries; aquest conflicte s’allargà fins el 1311, que Jaume II assignà aquests indrets, unitàriament, a la vegueria de Manresa i Bages, per bé que després tornaren a estar en disputa. Durant tot aquest període els Boixadors continuen ininterrompudament com a senyors del castell i el terme de Llavinera. Des de la darreria del segle XIII el nucli de poblament més proper al castell consta esmentat com a Llavinera Grossa, i es distingeix així de Sant Pere de Llavinera, per bé que coetàniament es parla sovint del terme com a “castell de Sant Pere de Llavinera” referint-se al nucli rector. El 1381 l’infant i primogènit Joan concedeix la plena jurisdicció a Ramon de Boixadors sobre Llavinera i Sant Mateu, enfortint així els lligams interns —en realitat ja existien— de la baronia de Boixadors.
A més dels Rocafort, els quals més que uns castlans sembla que eren uns feudataris, es coneix l’existència de la família Llavinera, que probablement havien de ser els castlans del castell. Un dels primers membres coneguts és un Ramon Ponç de Llavinera, que és documentat entre els anys 1144 i 1159 amb la seva muller Guilla i els seus fills Guillem i Ponç. El 1170 un Ramon de Llavinera. El 1186 una Dolça de Llavinera i el seu nebot Guillem. El 1207 un Llobet de Llavinera i la seva muller Guilleuma i el nebot de Guilleuma, Bernat Codeny.
Coetàniament a la família Llavinera es troba documentat un Pere Carbonell, vicari del castell de Llavinera, qui segurament devia exercir algunes altres funcions delegades pels seus senyors, diferents de les militars encarregades als castlans.
L’edifici del castell era situat en l’actual poble de la Llavinera, al lloc que ocupa una casa coneguda com el Castell. No sembla que resti cap element de l’antiga fortalesa.