Aquest antic poblat i castell del terme d’Àger es trobava situat segurament prop del lloc on ara hi ha l’ermita de Santa Maria de Colobor i el casal adjunt, al Montsec d’Ares.
Des del segle XII, a Colobor es documenta una fortalesa i àdhuc un petit vilatge, que desaparegué arran de la pesta negra del segle XIV. La primera referència concreta sobre el lloc apareix en l’acta de consagració de l’església de Sant Nicolau d’Àger del 1101. Gerbert Oseta donà una terra a la dita església propera al camí de Colobor. El 1110 s’efectuà la venda d’una casa al llogaret de Colobor per un tal Senfred, habitatge veí al de Guillem Company. Del 1164 posseïm el testament de Bernat de Colobor, castlà o senyor de Colobor, que deixà la fortalesa de Colobor al seu germà Arnau i atorgà a Sant Pere d’Àger els seus drets dins el terme de Colobor. En les queixes que l’abat Ramon d’Àger publicà contra Ramon de Claramunt, es fa constar que aquest cavaller, entorn del 1187, va devastar amb els seus homes el llogaret de Colobor. L’any 1375 Guillem de Manaut, mercader d’Àger, va comprar per 8 000 sous agramuntesos a Brunissenda, vídua de Pere de Cervera, els castells de Colobor i Conill amb els seus termes. Segons aquest document, Colobor ja estava totalment despoblat.
Actualment, sense fer prospeccions arqueològiques, poc es pot saber de l’estructura del vilatge de Colobor, que cal suposar molt petit. En tot cas, cal creure que l’ermita, encara dreta, i el casal ocupen part del vell assentament.