Es conserven dues convinences, una sense datar i l’altra datada l’any 1077, sobre el castell de Castellet de Llimiana, la primera signada entre el comte Ramon V de Pallars Jussà i Bernat Hug, i la segona entre Ramon V i Ramon Mir. L’any 1087, de nou el comte Ramon V i la seva muller, Valença, signaven un conveni pel mateix castell, ara amb Guillem i Guilabert Ez, pel qual el comte podia “in ipso castro de Castellet intrare et exire et querreiare”.
Tot i que s’ha pretès situar el castell al poble de Sant Martí de Barcedana, no sembla probable perquè la parròquia de Castellet tenia com a titular sant Serni i no sant Martí.