El poble de Perves és situat al sector nord-est del terme, enlairat a 1 209 m als vessants de la dreta de la vall de Bellera i a ponent de l’important coll de la Creu de Perves. En un judici comtal de mitjan segle X ja figura esmentat un seniore Barone de Perbas relacionat amb el monestir de Lavaix; es tracta, de fet, d’un diploma manipulat vers l’any mil. Posteriorment, en l’acta de dotació del temple de l’esmentat monestir de l’any 1015, Servideu de Perves dotà els altars de l’església amb una terra a la penya de Fades. A la segona meitat d’aquesta centúria, apareixen Dodó Arnau de Perves i Guillem Arnau de Perves en diversos instruments del cartulari de Santa Maria de Lavaix relacionats amb els comtes de Pallars Sobirà i els béns de la rodalia. El castell de Perves va ésser definit o permutat pels comtes del Pallars Jussà en favor dels de Pallars Sobirà en els convenis del 1080 i del 1094.
La fortalesa de Perves donà origen a un llinatge del mateix nom. A mitjan segle XII apareixen els noms de Guillelmus de Pervas major i Guillelmus de Perves com a garants del conveni entre Ramon III d’Erill i el comte Arnau Mir I de Pallars Jussà; en les reclamacions del comte, aquell lliurà Guillem I de Perves com a hostatge per 100 sous. Aquest Guillem I de Perves, l’any 1142, amb l’aprovació del vescomte Pere de Vilamur, deixà a l’orde de l’Hospital la vuitena part del delme que tenia de Roger de Susterris i Bernat, i, a més, dotà l’església del monestir de Santa Maria de Gerri, amb motiu de la seva consagració l’any 1149, amb els drets i el delme d’un mas a Montcortès. Així mateix, Guillem de Perves, tal vegada el segon representant del llinatge, és qualificat de nobiles vir en un diploma de l’any 1156 del comte Artau III de Pallars Sobirà, i signà el testament de Bernat I d’Erill atorgat el 1157. Vers la darreria del segle XII, Pere de Perves féu una altra concessió al comanador de Susterris, consistent en un home a la Torre de Miralles. Va ésser en aquest temps quan els Perves acaptaren la senyoria de Sapeira-Orrit. Al final del segle XIII, els Santserni heretaren l’honor de Gombau de Perves. En aquesta època Ferrer de Perves es destacà en el servei dels comtes de Pallars Jussà, com a escuder de Ramon Roger I i cambrer de Roger Bernat. Encara un Guillem (III) de Perves és mencionat en la Crònica de Pere el Cerimoniós com un cavaller a les ordres de Guillem de Bellera i defensor del castell de Llívia contra Jaume II de Mallorca.
Els fogatjaments de final del segle XIV esmenten el loch de Parves amb 4 focs, el qual era inclòs en la baronia d’Arnau d’Erill. Al segle XVII, Perves era un dels 45 pobles que pertanyien al comtat d’Erill, a la sots-vegueria de Pallars.