El poble de Vilamitjana és situat al costat esquerre de la Noguera Pallaresa, a 4 km de distància de Tremp en direcció sud-est. El lloc apareix documentat des del segle XI, però no tenim notícies concretes sobre el castell. Des dels segles XII-XIII la jurisdicció pertanyé al bisbe de la Seu d’Urgell, situació que perdurà fins al segle XIX.
La població de Vilamitjana s’organitza, com molts altres pobles, d’acord amb el model urbanístic creat a l’edat mitjana. A la part baixa hi ha un portal, del qual surt el carrer del Mig. A banda i banda d’aquest carrer, hi ha el Carrer Nou i el de la Fresca. A l’entorn del poble hi ha restes de les muralles. A la part alta del poble, encara es conserva el record d’haver-hi hagut un castell en el nom del carrer del Castell, del qual, però, no resta res. A més, en un turonet molt proper, situat una mica més al nord, encara hi ha un fragment de mur de més de 2 m de llarg, que no és pas segur que pugui ésser identificat com les restes d’una fortificació.