La primera menció del Vilosell data de l’any 1067, en descriure’s les afrontacions del castell de Barberà. En aquesta època sembla que el Vilosell era un assentament musulmà depenent del territori administratiu de la fortalesa de Siurana. La colonització feudal d’aquest sector, però, no es devia produir fins després de la conquesta de Lleida (1149). No es tornen a tenir notícies del lloc fins l’any 1155, en una donació feta per Alegret de Tàrrega a la canònica de Solsona. L’1 de gener de 1179, Alfons I lliurà a Guillem de Cervera diversos castells, entre ells el del Vilosell, reservant-se’n la potestat. El mateix any, Alfons I, amb el consentiment de Guillem de Cervera, concedí la meitat del castell del Vilosell a Pere de Besora, que esdevingué el castlà. A partir d’aleshores, aquest personatge supervisà la colonització efectiva del lloc, que es confirmà mitjançant una carta de població emesa l’any 1184. En aquesta carta, el rei Alfons i Pere de Besora concediren a Pere Pulla i als altres habitants que vinguessin a poblar el Vilosell la lliure possessió del lloc. Les parellades que ambdós es reserven segons les convinences, eren a la coma on hi havia el puig on van proposar traslladar ipsum castrum et fortitudinem de Velosello.
L’any 1196 Pere de Besora féu una primera donació al monestir de Poblet. A partir d’aquesta primera donació, Poblet anà acumulant diversos béns i drets dins el terme del Vilosell fins adquirirne la senyoria completa l’any 1217, per compra a Pere de Sassala, sabasèquia de Lleida. Aquest monestir conservà el domini del lloc fins a la fi de l’antic règim. (XEC)
Avui solament resta la part del talús meridional, coneguda popularment com l‘Enjuba, que deu correspondre a alguna reforma realitzada al segle XVI a l’antiga fortalesa medieval. Funcionalment aquest talús serví també per a donar suport al rocam de gres que devia ser la plataforma de basament del primitiu castell. Tota la fortalesa fou utilitzada per a la construcció de les cases de l població a partir del segle XVIII. L’any 1991 l’Ajuntament construí, al capdamunt del castell, un mirador. Un habitatge situat al costat de llevant de l’esmentat mirador i els dipòsits d’aigua de més enllà, sembla que han eliminat la possibilitat de localitzar més restes del que podria haver estat el castell primitiu. (JRG)