Esmentat el 962, pertangué als vescomtes de Besalú i després als vescomtes de Bas. Era el centre de la baronia de Milany , que comprenia la parròquia de Vidrà (amb les sufragànies de Cabagés i Covidases) i la de Vallfogona i drets, en discussió, sobre part del terme de Llaés. En foren castlans la família Milany. El castell fou abandonat al s. XIV i els senyors s’instal·laren a Vallfogona; a partir del s. XVI s’anomenà, per això, baronia de Vallfogona . Pertangué als Milany i als Pinós.