El castell de Salardú es troba a 1 268 m d’altitud, en una eminència a la dreta de la Garona, prop de l’aiguabarreigd’aquesta amb l’Unhòla, que l’envolta per tramuntana i per llevant.
La seva situació estratègica a l’entrada de la Vall pel port de la Bonaigua donà lloc que des d’antic hi fos bastit un castell i que fos considerat com a segona plaça reial de la Vall.
A la part més alta del poble, on avui hi ha l’església, hi havia el castell de Salardú. Segons Francisco de Gracia, tenia recinte de planta rectangular (més de 260 pams de llarg): mura llevant amb la porta-torre de Pallars (portal petit d’arc apuntat avui enrunat) i contramur, dues torres de defensa als angles i la torre mestra (l’actual campanar de la parròquia) al mig del pati d’armes. Avui resten també els vestigis del contramur, amb la base d’una torrassa prop de l’absis.