Aquesta fortalesa es trobava dins l’antic terme del castell de Milany, al casal on residí la família Milany a partir del segle XIII. La primera notícia de l’existència d’aquesta fortalesa és de l’any 1280, quan Sibil·la, comtessa d’Empúries i vescomtessa de Bas, vengué al seu possible nebot, Dalmau de Palau, la seva sala o estatge (“salam nostram sive stadium”) del castell de Milany, amb Vallfogona, i les parròquies de Llaés i Puigmal. El nou feudatari i cap de la tercera família Milany, l’any 1295 reféu la fortalesa, la qual cosa féu que l’abat de Sant Joan, que era el seu senyor superior, li aixequés un plet l’any 1 297 per haver reconstruït el castell de Milany i refet la fortalesa de Vallfogona anomenada la Sala i haver-ne construït una de nova a Vidrà, puix que el feudatari no estava autoritzat de fer les obres sense el permís de l’abat. Encara més tard, vers l’any 1330, la Sala fou reconstruïda per Ramon de Milany. A causa del fet de residir la família Milany a la Sala de Vallfogona, el nom de Vallfogona anà apareixent més sovint al costat del castell de Milany i quan l’any 1600 es concedí un nou títol a Miquel Galceran de Pinós, que era baró de Milany, se li donà el de comte de Vallfogona i no de Milany. Actualment són els ducs d’Híjar els qui ostenten aquest càrrec. Al principi del segle XX el casal de la Sala de Vallfogona fou reparat pel seu propietari, Eusebi Budallés, però actualment es troba amb la teulada esfondrada, i si bé les parets resten dempeus, són en un gran perill d’enderrocament.