El domini superior del castell de Milany pertanyia a la casa vescomtal de Besalú, cognomenada també inicialment de Milany. L’esmentat Ramon de Milany
, casat amb Arsenda, fou pare de Guillem de Milany o de Creixell, mort després del 1150 (el qual, casat amb Beatriu de Navata, senyora de Creixell, sembla que originà la família dels Creixell i una altra branca dels Milany), que vengué la castlania de Milany al seu nebot —fill de Dalmau de Milany— Pere de Milany
. El fill d’aquest, Ramon de Milany
, cognomenat també de Palou
, es casà amb Eldiarda de Tarroja, regent del vescomtat de Bas (1222-31), i foren pares de Simó de Milany
o de Palou
(mort el 1247), reconegut per Pere III de Catalunya-Aragó com a vescomte de Bas ( vescomtat de Bas
). La seva filla Sibil·la de Palou
, muller del comte Hug V d’Empúries, el 1280 vengué el castell de Milany i altres béns annexos a Dalmau de Palou
, parent seu; amb el fill d’aquest, Ramon de Milany
, s’inicià la segona dinastia dels senyors de Milany. Els fills de Ramon, Pere de Milany
i Ramon de Milany, prengueren part activa en la política general del país. Succeí en el domini del castell de Milany Sança de Milany
, filla de Pere i d’Ermessenda, que es casà (1386) amb Bernat Galceran de Pinós (1386), i el domini passà als Pinós. Sembla que fou germana de Sança Beatriu de Milany
, senyora de Cartellà i de Tudela, que fou muller de Roger de Montcada i de Lloria, de qui no tingué fills.
Armes dels Milany
Ponç de Milany
i els seus fills Ramon
i Bernat de Milany
.