Les restes del despoblat de Castelltallat s’alcen a l’extrem occidental del mont de Conques i damunt del camí vell que va de Conques a Figuerola d’Orcau.
Ens han pervingut poques notícies sobre el castell que li donà nom. Entre el 1055 i el 1098 els comtes Ramon V i Valença de Pallars Jussà establiren la batllia de Castelltallat (“baglia et Castel Tallad”) als seus feudataris, Arnau i el seu pare Otger.
Castelltallat és citat en el testament que Arnau Valgari dictà l’any 1116 abans d’emprendre el pelegrinatge al Sant Sepulcre de Jerusalem.
En el fogatjament del 1381 figura amb cinc focs dins la baronia d’Orcau, com un domini d’Arnau d’Orcau.