Ares era un important nus de comunicacions entre el Pallars i la vall del Segre, i per allí passava una de les principals vies pirinenques.
Tenia antigament un recinte emmurallat format per set cases, del qual encara es conserva la porta d’accés. La casa del capdamunt del poble més propera a l’església, cal Rei, era l’antic castell, però no hi ha dades sobre el seu origen.
A la part més alta del poble hi ha l'església de Sant Esteve.