La vila de Canelles és avui dia sota les aigües del pantà homònim, el més gran de la conca de la Noguera Ribagorçana. El seu castell és citat l’any 1058 en el jurament que Ricard Altemir va fer als comtes de Barcelona, Ramon Berenguer I i Almodis, sobre el castell de Tàrrega. Pocs anys després, el 30 de gener de 1063, el mateix comte barceloní féu una carta de donació a la seva esposa Almodis per la qual li cedia, a més dels castells d’Estopanyà i Purroi, “ipsum castrum de Cannelas”, del qual se citen les afrontacions. Mesos més tard, el 25 de juliol, en un conveni signat entre Ramon Berenguer I i el comte d’Urgell Ermengol III per al repartiment de les conquestes territorials que es poguessin fer, s’esmenten també els castells d’Estopanyà, Purroi i Canelles.
Molt possiblement, els comtes de Barcelona es vengueren aquest castell, atès que, en una escriptura atorgada el 1092, consta que Arsenda de Montfalcó i el seu fill Guillem feren donació a l’església de Santa Maria de Vallverd del “castrum de Canneles” amb tots els termes i totes les pertinences, i hi especificaven que el tenien per compra.
No en trobem cap més referència documental fins l’any 1189, quan Guillem d’Alòs vengué a l’església de Santa Maria de Vallverd la tercera part del castell i vila de Canelles. L’any següent, el 1190, un tal Guillem de Finestres i la seva germana vengueren tots els béns que posseïen al castell i vila de Canelles, al monestir de Vallverd.
Amb poca diferència d’anys respecte al document abans citat, el 1220, un tal Berenguer de Finestres —potser parent del susdit Guillem de Finestres—va vendre al monestir la vila de Canelles amb el castell, els habitants, les senyories i les jurisdiccions.
D’altra banda, una notícia de l’any 1294 Informa que l’abadessa Sibil·la de Vallverd va vendre a Ferrer d’Areny els delmes que el monestir tenia a Àger, la Régola, Fontdepou, Millà i Torre de Santa Maria per desempenyorar el poble de Canelles, que tenia empenyorat a causa dels deutes que tenia el convent. Una darrera referència, corresponent al segle XIV, notifica que l’any 1359 era senyora de Canelles, Tragó i Salaverd l’abadessa del cenobi de Santa Maria de Vallverd.