Pertanyia al comtat d’Urgell, i defensava el pas de la conca de Tremp al baix Segre pel coll de Comiols i a l’Alt Urgell pel port de Bóixols. Tenia tres recintes de muralles; a més de restes del nucli residencial (al NE), es conserva una part del temple romànic de Sant Sadurní. L’adquirí, el 1030, Arnau Mir de Tost, que el cedí al seu gendre, el comte Ramon IV de Pallars.
El castell no ha estat reformat ni ampliat després del segle XII. La disposició dels tres recintes, la distribució de les edificacions, la perfecta adaptació al terreny escarpat, constitueixen un model immillorable de l’art de la fortificació en l’època romànica. El castell pròpiament dit és al recinte sobirà, mentre que l’espai intermedi és defensat per una murada i una torre quadrada que s’adossa a una sala amb espitlleres. Al recinte, s’hi accedeix per un estret passadís resguardat per un mur, arran mateix del precipici. S'arriba a un vestíbul amb tres naus juxtaposades, de les quals la més important és la primera, amb una imposant façana, que conserva la volta de canó dels baixos. Els tres pisos superiors eren coberts amb bigues. Les altres dues naus són arruïnades. En caure la carreuada dels murs, restà al descobert el nucli interior d’opus spicatum. El castell de Llordà fou declarat monument històric artístic el 1980.
De l’església resta una de les tres naus i un robust campanar de torre de planta quadrada ornamentat amb bandes i arcuacions llombardes. En la nau conservada s’aprecia la utilització de pilars cruciformes. Degué estar coberta amb volta de canó reforçada amb arcs torals i capçada per tres absis. El caràcter massís del campanar fa pensar en una funció al servei de les necessitats defensives del castell. Fou consagrada el 1040.