El castell de Vila, segons Francisco de Gracia, era situat al cap del poble.
Tenia planta triangular; a llevant hi havia el fossat, un pont de fusta, la porta amb contramur (16 pams d’alt), defensat per cinc baluards, el mur principal (250 × 50 d’alt i 5 d’ample) i sengles torrasses als angles. El recinte constava de dues places d’armes, l’església i dues torres; la mestra, amb cinc campanes, i l’altra, amb un capitell de llicorella. Finalment, parla també de ruïnes d’edificis antics (que podrien ésser romànics) i d’una peça rectangular on es podia aplegar molta gent.