Aquest castell era situat al Mall o gran pic rocós que corona a ponent la serralada del Cis, al costat de l’església de Sant Esteve del Mall (ara coneguda com la Mare de Déu del Tossal). Des d’aquest turó es controlava l’anomenada Valle Magna o confluència de la vall de Sant Esteve amb la del Fornó, abans de l’aiguabarreig amb l’Isàvena. El castell de Sant Esteve del Mall formà amb el de Roda la frontera defensiva del comtat de Ribagorça a mitjan segle X al sector central de l’Isàvena. Després d’un revolta protagonitzada per uns tals Rami i Esó, probablement representants de l’element indígena, el comte Unifred I i els seus germans es preocuparen per la seva organització i repoblació. Afavoriren la presència del monestir d’Alaó a partir d’una primera donació in castro Sancti Stephani ai prevere i futur abat Oriolf l’any 965. Es tracta de la notícia més antiga del castell. Poc després van bastir i dotar una nova església que consagrà el bisbe Odesind l’any 972. I l’atracció de nous pobladors sembla que tingué èxit, puix que vers l’any 997 consta un vilar Burgi a la vall del Mall, que cal identificar amb el poble actual de Sant Esteve del Mall. La incursió del 1006 deixà en poder dels musulmans aquest castell; així ho recorda una notícia alaonesa de vers el 1009 (“regnante Christum Dominum et Ben Agata Algagiti in Sanctum Stefanum”) i la nova consagració de l’església de Sant Esteve del Mall per un bisbe mossàrab el 1010. El comte Guillem Isarn amb les seves tropes castellanes reconquerí definitivament el castell, el fortificà i hi creà una senyoria que concedí en tinença al cavaller Baró Asner (1013), del llinatge dels Rallui, que procurà la restauració eclesiàstica (1016). En temps de la nova dinastia pamplonesa consta la senyoria de Ximeno Fortunyons (1035-1070), que va dotar la nova canònica de Sant Esteve i Sant Silvestre i que va ésser succeït pels Grostan. Amb tot, foren els senyors de Cornudella els qui donaren fama i fortuna a aquest castell. Pere Gausbert de Cornudella es titulà senyor de Sant Esteve del Mall entre el 1110 i el 1137 i bastí una nova església en honor de sant Esteve (1124). En un privilegi del 1267 Jaume I concedí als canonges i als homes de Roda que fessin i tallessin moles per als seus molins on volguessin dins el terme del castell de Sant Esteve del Mall, excepte a la “rupe seu fortia dicti castri”. Aquesta referència tal vegada informa del caràcter del castell, que potser mai superà l’etapa d’oppidum ibèric o plataforma fortificada.