L’existència d’aquest castell és dubtosa. Tanmateix, el topònim, d’origen aràbic i que significa “castell del senyor”, fa pensar que potser hi hagué una fortalesa a Castrocit en època islàmica o tal vegada ocupada per mossàrabs, avui del tot desapareguda. El primer esment del lloc de Castrocit és de vers l’any 988.