D’aquest castell, documentat al segle XI, es desconeix totalment el lloc on era emplaçat, però, tot i això, se sap que formà part del territori del comtat de Berga. Una de les primeres notícies data entre el 1068 i el 1095, temps en què Hug Dalmau de Cervera, senyor del castell de Cervera, i el seu fill Ponç Hug juraren fidelitat al comte Guillem Ramon de Cerdanya pels castells de Sant Esteve, Castellfollit, Vasel, Ferran i Malacara. Aquest jurament anà seguit d’una convinença, en la qual apareixen juntament a Hug Dalmau de Cervera, la seva muller Adalèn i llur fill, l’esmentat Ponç Hug.
De ben segur el castell de Vasel havia format part originàriament del terme més ampli del castell de Castellfollit, del qual se separà més tard, quan es formà un poblament estable.
Una convinença datada l’any 1129 informa que el comte Ramon Berenguer III de Barcelona establí amb Ponç Hug de Cervera una convinença pels mateixos castells que el seu pare, Hug Dalmau, havia fet jurament de fidelitat i també una convinença amb el comte Guillem Ramon de Cerdanya; és a dir, els castells de Sant Esteve, Castellfollit, Vasel, Ferran i Malacara. En la convinença del 1129 s’esmenta que aquestes fortaleses havien estat antigament d’Isarn i la seva muller Illa, oncles de Ponç Hug de Cervera. Isarn, en morir sense descendència, havia deixat els esmentats castells al seu germà Hug Dalmau de Cervera, i aquest, com ja s’ha vist, els havia traspassat al seu fill.
A partir d’aquest moment desapareix de la documentació qualsevol rastre sobre aquest castell.