Tot i que hi ha notícies de Vilamitjana des de l’any 999, la primera referència al seu castell ja és del segle XI. Segons un document del 1029 esmentat per Miret i Sans, Guillem, senyor de Castellbò, va reconèixer a favor de Duran, abat de Santa Cecília d’Elins, certs drets sobre el castell de Vilamitjana, a la solana de la vall de Castellbò, molt a prop del priorat de Santa Maria de Costoja. Aquesta fortalesa fou una de les que va refer el vescomte Arnau vers el 1190.
Com a part integrant del vescomtat de Castellbò, Vilamitjana es trobava inclosa dins el quarter de Castellbò.
No hi ha cap constància que hi hagi restes del castell en la població actual. Hi ha, tanmateix, una curiosa casa de planta irregular que recorda una torre, i també un carrer clos en perfecte estat de conservació.