Com a conseqüència de l’emigració devers el S era el més poblat dels comtats pallaresos i comptava amb possibilitats d’expansió Noguera avall. Per tal de mantenir-ne la independència els seus comtes, fins a mitjan s. XII, alternaren les aliances recolzant-se unes vegades en els reis d’Aragó i altres en els comtes de Barcelona. Heretà el comtat el fill gran del comte Sunyer I de Pallars, Ramon IV de Pallars Jussà (~1011-47), en temps del qual els urgellesos, comandats per Arnau Mir de Tost, conqueriren la conca de Tremp i el Montsec. Encara que les terres de la Conca foren posades, sembla, sota la senyoria de Ramon IV, la vall (després vescomtat) d’Àger, sota els comtes d’Urgell, obstruïa, de cara al futur, l’expansió dels pallaresos devers migdia. Ramon V de Pallars Jussà (1047-98), fill i successor de l’anterior, tingué desavinences amb el seu cosí de Pallars Sobirà, Artau I, probablement per motius d’herència i de límits territorials; el plet es resolgué, però, amb unes vendes i commutacions de castells (1064 i 1079?). Les relacions amb els comtes urgellesos foren també hostils i Ramon V tingué a sou tropes sarraïnes amb les quals lluità contra ells. Si bé per les armes el de Pallars no reeixí en els seus propòsits d’ocupar el Montsec i la vall d’Àger, en la diplomàcia fou més afortunat: l’any 1055 arribà a uns acords i a unes commutacions de béns amb Arnau Mir de Tost i al setembre del 1078 i gener del 1086 rebé d’Ermengol IV d’Urgell uns castells de la frontera. Fins i tot, el 1055, pactà el seu matrimoni amb la filla d’Arnau Mir, Valença de Tost, que segons alguns hauria aportat en dot la Conca. Llurs fills, Pere Ramon I de Pallars Jussà i Arnau Ramon I de Pallars Jussà , governaren en règim de condomini fins que ambdós moriren segons sembla vers el 1112. Els succeí el seu germà Bernat Ramon I de Pallars Jussà (vers 1112-24), que col·laborà en les campanyes de Ramon Berenguer III de Barcelona contra els sarraïns de Lleida i potser morí en la batalla de Corbins (1124). El comte Arnau Mir I de Pallars Jussà (1124-74), fill d’Arnau Ramon I i successor de Bernat Ramon I, estigué casat en primeres noces amb Estefania, filla d’Ermengol VI d’Urgell, que repudià per casar-se amb Òria d’Entença. A iniciativa d’aquest comte, vers el 1161 nasqué Vilanova de Pallars o Palau de Noguera, localitat a la qual atorgà una carta de franquícies l’any 1168. Feudatari del rei d’Aragó, Arnau Mir I intervingué en les negociacions que portaren el rei Ramir II d’Aragó a encomanar al seu gendre, Ramon Berenguer IV de Barcelona, el govern de les terres aragoneses. Gran col·laborador dels primers comtes reis, participà en la reconquesta de Lleida, la carta de població de la qual signà com a testimoni (gener del 1150), i probablement també assistí a la presa de Tortosa i a l’expedició a Almeria (1147); fou ensems un dels signants del tractat de Tudellén (gener del 1151), del testament de Ramon Berenguer IV (octubre del 1162) i de l’escriptura de cessió del regne d’Aragó que la reina Peronella féu a favor del seu fill Alfons I (juny del 1164). Presoner dels navarresos en la lluita contra Sanç VI de Navarra, durant la seva captivitat governà el comtat Ramon III d’Erill, senyor d’Erill. En reconeixement dels seus serveis Alfons I li confià la plaça de Fraga. Seguint l’exemple del rei Alfons I d’Aragó Arnau Mir I féu testament l’any 1157 deixant el comtat a la senyoria directa de l’orde de l’Hospital, però els seus familiars feren cas omís d’aquestes disposicions. El seu fill i successor, Ramon VI de Pallars Jussà (1174-77), que ja havia estat associat al govern els darrers anys del seu pare, pel març del 1175 pactà un conveni, a manera de pariatge, amb el bisbe d’Urgell Arnau de Preixens sobre la vila de Tremp. La vila, que era de la senyoria dominical de la seu, des d’aleshores passaria a ésser de domini conjunt, corresponent al comte l’actuació defensiva i protectora i una part de les rendes. Ramon VI morí prematurament deixant sota la tutela d’Alfons I una filla, Valença I de Pallars Jussà , morta poc després sense successió. El comtat passà aleshores a Dolça I de Pallars Jussà , filla del comte Bernat Ramon I i vídua segurament d’un noble del Conflent del llinatge dels So, la qual, abans del 1192, el cedí a la corona.