Aquest castell tingué una història semblant a la del veí castell de Montoliu. El primer esment de la fortalesa és de l’any 1059, en què els comtes de Barcelona Ramon Berenguer I i la seva esposa Almodis concediren el puig de Vilagrassa (actual Vilagrasseta) a Dalmau Gerovard i a la seva esposa Eizolina perquè hi bastissin una fortalesa. Al segle XII el castell apareix en mans dels Cervera. El 1133 Guillem Dalmau de Cervera féu donació testamentària del castell de Vilagrasseta al seu nét Guillem, un cop haguessin mort la seva filla i el seu gendre. El 1227 Guillem de Cervera llegà el terme i el castell de Vilagrasseta al monestir de Santes Creus. El 1255 el rei Jaume I confirmà a aquest cenobi la possessió de Vilagrasseta juntament amb altres béns que tenia a Cervera i prop de Tàrrega. Entre els senyors que tenien importants drets al terme destaca l’orde de Sant Joan de Jerusalem, que posseïa una de les dues castlanies, adquirida finalment pel monestir de Santes Creus.
Vilagrasseta fou del monestir de Santes Creus fins a la desamortització del segle XIX. Al poble de Vilagrasseta, al nord-est de Montoliu, no s’han conservat vestigis de l’antic castell medieval.