Hom desconeix bona part de la història d’aquest castell que formava part, com Gàver, del comtat de Berga. Fins al segle XIII va pertànyer als Cervera. L’any 1246, quan es casà Sibil·la de Cervera amb Ramon de Montcada, el seu pare, Guillem de Cervera, li donà per dot el castell de Timor, el castell i la vila de Sant Antolí, el de Pujalt, la vila de Gàver i el castell i la vila d’Estaràs. Pocs anys més tard, el 1251, el castell d’Estaràs, juntament amb Gàver, passà a mans de Jaume I.
Al segle XIV el domini eminent del castell esdevingué dels Vilallonga. El 1355 ja és esmentat Ponç de Vilallonga com a senyor del lloc. Els Vilallonga senyorejaren el terme fins al segle XIX. Al segle XVII consta que retenien la jurisdicció civil, però no la criminal, que era del rei.
D’Estaràs sortí una família de cavallers, cognomenats Estaràs, que foren feudataris de diversos termes a la Segarra i a altres comarques. Els Estaràs figuren també entre els repobladors de Lleida.
L’antic castell d’Estaràs, al capdamunt del poble, és avui dia un casal de tipus residencial amb grans finestrals, d’origen probablement gòtic.