Passà als Ponts de Mendoza, marquesos de Vilanant, als Abarca de Bolea, comtes d’Aranda, i als Silva, ducs de Lécera. Comprenia els actuals termes de Rupit, Susqueda i Pruit (llevat de Sant Llorenç Dosmunts). La baronia de Rupit formà part inicialment del terme del castell de Fàbregues, dividit al s XI en els de Rupit (que comprenia les parròquies de Sant Joan de Fàbregues, la de Pruit i la de Sant Miquel de Rupit) i el de Fornils (amb Sacalm, Susqueda i el Far); reunificats els dos termes al s XIV, s’anomenaren de Rupit i Fornils. El domini del lloc passà dels Cardona (antics vescomtes d’Osona) als Pallars i Cruïlles, i després, sempre per casament, als Cruïlles-Vilademany, als Perapertusa i als Bournonville.