El castell de Vielha, segons Francisco de Gracia, era situat a llevant del poble, al planell dret del Riu Nere, on és avui l’església parroquial.
Tenia un fossat (de 40 pams d’amplada) amb pont de fusta a la porta septentrional. El mur (250 × 60 pams d’alt i 5 pams d’ample) constava de tres torrasses emmerletades, amb troneres, lligades per quatre llenços. El contramur a tramuntana i a ponent (16 pams d’alt × 5 pams d’ample), la portatorre i els llenços oriental i occidental tancaven el recinte configurat pel pati d’armes amb l’església i la torre mestra (demés de 240 pams d’alt), que encara es poden veure (segles XIII-XIV). A l’edifici adossat al mur de tramuntana es reunia el Conselh Generau dera Val d’Aran.