Aquest castell era situat a llevant de les Pallargues, a la riba dreta del Sió, poc després de rebre el torrent de Passerell. Centrava un llogaret o petit terme ara totalment despoblat que formà part del primitiu terme del castell de Guissona. El primer esment del lloc es troba en l’acta de consagració de Santa Maria de Guissona de l’any 1098. El castell de Vilagrassa apareix documentat poc després, l’any 1109, en què Pere Gauspert i la seva muller Sicarda donaren a la catedral d’Urgell el seu castellde Vilagrassa, el qual a partirde llavors havien de tenir en feu de l’església d’Urgell. Les afrontacions d’aquest castell eren, a llevant, els termes dels castells de Sant Martí i de Gra, a migdia, els termes de Concabella, Ratera i Golonor, a ponent els termes de Sisteró i les Pallargues, i al nord els termes de Montfages, Claret i Coscollosa. El 1147 Bertran i la seva muller Loreta, senyors de Vilagrassa, Sant Martí i Coscollosa, feren testament i establiren que el castell de Vilagrassa passés a la seva filla Sança. Després es perd el rastre d’aquest castell.