Barruera, a l’entrada de la vall de Boí i en el camí transversal del port de la Gelada, tingué castell o alguna mena de fortificació romànica. Hom estima que pot ésser un vestigi del castell de Barruera la gran torre quadrada, d’època indefinida, que es dreça damunt el poble de Barruera, adossada a la casa dita del “Pubill”. El primer esment d’aquesta fortalesa és de l’any 1174, en què Arnau Mir I, comte del Pallars Jussà, deixà a Santa Maria de Mur el capmàs que tenia Pere Ramon al castell de Barruera. Consta documentalment que Barruera pertanyia als senyors d’Erill ja a la primeria del segle XII perquè l’any 1171 Ramon III d’Erill i la seva muller Agnès confirmaren a l’orde de l’Hospital la deixa feta en testament per Ramon II Pere d’Erill (1094-1135), en propi alou, franc i lliure, entre la qual consta el mas de Ramon de Barruera. En dit any els Erill hi eren representats pel batlle Pere Ramon. Al conveni del 1187 sobre l’herència de l’esmentat Ramon III d’Erill, la seva filla Berenguera acordà amb l’oncle Arnau II d’Erill tenir mancomunadament la meitat de Barruera, mentre que li donà l’altra meitat amb pertinences i usatges. Els barons, després comtes d’Erill, gaudiren de la senyoria de Barruera fins a la fi de l’antic règim.
Històricament Barruera era la tercera població en importància de la vall de Boí. Els fogatjaments dels anys 1378 i 1381, en la baronia d’Arnau d’Erill, citen el “loch de Baruhera, Vllll fochs”; el capbreu-llevador del 1393, que inclouria tot el poble, li dóna 30 focs (1553, 20 focs). Les 30 famílies de Barruera feien un sester, un almud d’ordi, una gallina, un pernil i setze sous de quístia.