El castell de Segur s’aixecava al puig de Sant Miquel, situat davant del poble de Toralla, a 3 km de distància de l’actual vila de la Pobla, on avui només resten les ruïnes, consolidades, de l’església romànica i algunes rengleres de pedres corresponents a antigues edificacions.
Al segle XI hi havia ja al puig de Sant Miquel, dominant el curs baix del Flamicell, un castell que degué actuar com a nucli aglutinador d’un primitiu hàbitat concentrat. La seva existència és testimoniada per una relació no datada de querimònies (c. 1082) que el comte Ramon V de Pallars Jussà adreçà contra el seu cosí Artau I de Pallars Sobirà. Aixecat en una zona fronterera dels dominis dels dos comtes rivals, el castell de Segur fou víctima de l’ambició d’Artau I, qui no dubtà a trencar la treva del senyor per a apoderar-se’n.
Conta la tradició que, ran de la troballa d’una imatge de la Verge a la vora de la Noguera, s’edificà una capella sota l’advocació de la Mare de Déu de la Ribera, i que aquest fou l’origen del trasllat de la població del vell poble de Sant Miquel a la plana, a la confluència de la Noguera Pallaresa i del Flamicell, on fins aleshores només existia el Mas de Segur. Motivat possiblement més per raons econòmiques —desig de trobar millors terres de conreu al pla, millora de les condicions de seguretat, etc.— el trasllat d’una part del vell hàbitat del castell al nou nucli de la Pobla degué efectuar-se al llarg del segle XIII. L’any 1309 Ramon de Montferrer va fer donació del feu de la Pobla i dels castells de Pessonada, Vilanova, Montsor i Panafreita al seu germà Guillem, en canvi dels llocs de Lluçà, Miranda i del feu de Conques.
La consolidació de l’hàbitat al nou emplaçament s’atribueix a la iniciativa del senyor jurisdiccional, el vescomte Pere de Vilamur, qui el 31 de gener de 1336 adreçà una carta de població als homes dels llocs del Puig de Segur i de la Pobla. El vescomte pretenia que sobre la base dels elements personals i patrimonials de cada dos masos se’n fundés un de nou, per la qual cosa concedí als antics i nous capmasers de la Pobla l’exempció acostumada de les prestacions reials i senyorials. La crisi de mitjan segle XIV degué aturar el moviment de població i l’antic poble de Sant Miquel no fou encara abandonat; el fogatjament del 1381 dóna sis focs per al Puig de Segur i dotze per a la Pobla.
L’any 1338 Pere el Cerimoniós va manar al comte de Pallars que donés a Pere de Vilamur la potestat dels llocs i les fortaleses del Puig i la Pobla de Segur. Com tots els dominis dels Vilamur, la Pobla de Segur passà a mans dels Cardona a la segona meitat del segle XIV. Al segle XVII encara era dels ducs de Cardona.