El castell de Sarroca, dit també Sarroqueta per distingirlo de Sarroca de Bellera, aprofitava, com el seu nom indica, l’espadat d’una penya situada a la riba esquerra de la Noguera Ribagorçana, que controla la vall de Barravés i el vell camí de Llesp.
L’indret de Sarroca és esmentat en l’acta de consagració de l’església del monestir de Lavaix datada l’any 1015; segons aquest important document, Gamisa, conjuntament amb la seva esposa Sança i el seu germà Dacó, dotaren el monestir amb un alou a Sarroca (la Roca). El Llibre dels Feus recull l’instrument d’evacuació i donació del segle XI del castell d’illa Roca amb els drets que hi tenia, que féu Arnau Amill en favor del comte Ramon IV de Pallars Jussà; segons aquest document, el castell de Sarroca havia d’ésser encomanat a Isarn Riculf, el qual, en un document de l’any 1068, es cognomena de ipsa Roca. Així, el castell de Sarroca donà origen a un destacat llinatge homònim. Hi ha la possibilitat que Isarn Riculf fos fill de Riculf Oriolf i d’Eizolina, senyors de Castelló de Tor.
Els fills d’Isarn Riculf, Ramon, Baró Isarn i Guillem, foren castlans del castell de Sarroca per Pere Ramon d’Erill i el comte Artau II de Pallars Sobirà. Ampliaren la senyoria al veí castell de Viu de Barravés mitjançant un pacte ferm amb el rei Sanç Ramírez, signat al juny del 1083 entre Montsó i Pomar, quan tornaven de Lleida i Saragossa amb la host reial invicta. Així, després de retre homenatge i sacrament de fidelitat, juraren que mai, des del castell de Sarroca, no infligirien cap dany contra el rei ni contra els seus, sinó que li prestarien ajuda amb la seva honor.
Al segle XII es perd gairebé el rastre dels Sarroca; però sembla que una branca s’emparentà amb els Senyiu. L’any 1182 Bernat del Palau de Sarroca i Pere de Casterner establiren amb els hospitalers de la comanda de Siscar una concòrdia sobre l’honor d’Artau de Sarroca que havien emparat a l’orde de l’Hospital, que consistia en tres capmasos a Sarroca i un a la vila d’Albor; per aquest document definiren dita honor al comanador de Siscar, el qual, amb consell d’Arnau d’Erill, els lliurà en tinença un dels tres capmasos i, en canvi, van prendre sota la seva guarda i batllia els béns dels hospitalers. Sembla que al final del segle XIII el castell de Sarroca era força important, car en els greuges presentats pel lloctinent d’Aran al rei Jaume II s’anotà, entre els danys inferits als aranesos, que els de la vall de Boí (vassalls dels Erill) capturaren uns homes al Pont i els portaren lligats de mans i peus al castell de Sarroca fins que pagaren llur redempció.
L’any 1380 el rei Pere III de Catalunya-Aragó lliurà el lloc i castell de Sarroca amb l’honor de Castelló de Tor al bisbe de Lleida. Els fogatjaments de la darreria del segle XIV consignen com a pertanyent a l’Església el loch de a Rocha, sota el domini de la qual romania encara al segle XVII.
L’any 1831 la senyoria de Sarroqueta, inclosa en el corregiment de Talarn, pertanyia al marquès de la Manresana.