El castell de Jóc havia estat, al s XI i probablement des del s X, el centre del vescomtat de Conflent i residència dels vescomtes. Però l’apel·lació vescomtat de Jóc apareix el 1177, en un temps que els vescomtats de Cerdanya i Conflent ja eren passats als vescomtes de Castellbò, i designava els territoris junts dels dos vescomtats, de Vilafranca a la Seu d’Urgell. Cap al 1134 la senyoria de Jóc fou partida entre els comtes de Barcelona (titulars del mer i mixt imperi, com a successors dels comtes de Cerdanya), els vescomtes de Castellbò (hereus dels vescomtes de Cerdanya) i Conflent, i els Urtx (potser emparentats amb els vescomtes de Cerdanya i titulars de les senyories veïnes d’Illa, Bulaternera i Estoer). El 1354 el vescomte Roger Bernat IV de Castellbò féu donació de la seva meitat de la senyoria de Jóc al seu oncle Roger de Rovenac, el qual morí l’any següent, i deixà com a hereva la seva filla Isabel, muller de Ramon de Perellós. Aquest, havent comprat el 1357 l’altra meitat de la senyoria a Andreu de Fenollet, vescomte d’Illa i hereu dels Urtx, completà la seva possessió adquirint el 1365 del rei Pere IV els drets d’alta justícia. Després de la mort de la seva muller i la renúncia als seus drets de successió feta per la seva cunyada Esclarmunda de Llupià el 1383, Ramon de Perellós recollí la totalitat de la senyoria, esdevinguda baronia de Jóc. Després d’ell, el feu fou posseït per la seva filla gran, Elionor de Perellós (1384-1459), i passà al nebot d’aquesta, Bernat de Perapertusa (1459-85), fill de la seva germana Constança. Continuà en els descendents d’aquest fins que fou elevada a vescomtat ( vescomtat de Jóc ).