Visqué en un clima de desordres constants i de crisi generalitzada de l’autoritat comtal, motivada pels atacs del seu cosí Artau I (1049-81) de Pallars Sobirà i dels comtes d’Urgell, desitjosos d’estendre llur hegemonia cap al sud-oest, de sotmetre a llur poder la conca de Tremp i de situar sota llur autoritat el conjunt de terres limítrofes amb l’emirat de Lleida. També els senyors locals aprofitaren les dificultats de Ramon V per a bascular l’autoritat local i estendre llurs jurisdiccions. En el curs d’una veritable guerra de saqueig i destrucció, Artau I arribà a prendre els castells de Sentis, Mont-ros, Reguard i Segur, i li disputà la possessió dels de Rubió, Castelló, Erill, Viu, Bellera, Adons, Enseu, Castellet, Toralla, Rivert, Puigmanyons, Claverol, les Eres, Talarn i Tendrui. En el curs i al final del conflicte ambdós comtes cosins pactaren vendes (1064), commutacions i donacions (1079?) de castells per tal d’arranjar llurs diferències. El conflicte amb els comtes d’Urgell fou de característiques semblants i en alguns moments Ramon V perdé el control sobre els castells de Llimiana, Toló, Llordà, Conques, Abella, Boixols, Taús, Castellàs i Tornafort. Hom coneix unes donacions de viles i castells (1078 i 1086) d’Ermengol IV d’Urgell a Ramon V que deuen correspondre a reintegracions de béns ocupats per les armes al llarg de la guerra. Les dificultats militars de Ramon V comportaren ensems defeccions en les files de la noblesa: la més important fou la de Guitard Isarn de Vallferrera i dels seus fills, que recusaren els drets del comte sobre el feu de Roní i s’apoderaren de Riumadriu, el castell de Gilarén i les viles de Burg i Farrera. Convertits de fet en els amos de la Vallferrera, Guitard i els seus fills refusaren la fidelitat deguda a Ramon V i es feren homes d’Artau I. L’autoritat comtal al Pallars Jussà sols se salvà amb l’ajuda de tropes sarraïnes, que poc abans del 1070 ajudaren Ramon V a sotmetre la seva pròpia noblesa i a defensar-se dels urgellesos. Després del 1070 la noblesa del Pallars retornà a l’obediència i pactà convenientiae amb llur sobirà: els anys 1070, 1072, 1076, 1077, 1079, 1080, 1081, 1084, 1087, 1088 i 1090. La serra del Montsec i la vall d’Àger en mans dels urgellesos obstruïen la natural expansió del seu comtat; potser per això Ramon V contragué matrimoni (1055 o 1056) amb Valença de Tost, filla d’Arnau Mir de Tost, senyor d’Àger. Segons alguns Valença hauria portat en dot la conca de Tremp; el que és cert és que al seu torn Ramon V li donà propter nuptias els castells de Mur, l’Areny, Llimiana, Orcau i Bastús. Fou pare de Pere Ramon I, Arnau Ramon I i Bernat Ramon I.