Aquest castell, avui desaparegut, es trobava en l’actual llogaret de Sant Andreu.
El castell també era conegut pel nom de castell de Sant Andreu. Fou un dels termes integrats dins el vescomtat de Castellbò.
El lloc de Castelló és documentat des del 1024, any en què l’abat Duran de Santa Cecília d’Elins va restituir al bisbe Ermengol l’església de Cortiuda i les dècimes i les primícies de Castelló, retingudes indegudament pel seu monestir.
El terme del castell de Castelló és esmentat en un document de l’any 1143, data en la qual el prepòsit Arnau donà a Guillem Ramon, de sobrenom Carbonell, i a la seva muller Oria, anomenada també Castellana, la torre i l’alou situats als confins de les marques, al terme del castell de Castelló, perquè “edifiquin, cultivin i habitin”.
Durant el segle XI hi ha documentats dos llocs amb el topònim de Sant Andreu, un a prop de Santa Creu i l’altre prop d’Aravell. Aquest últim apareix esmentat com a castell en el testament del vescomte Ramon de Castellbò l’any 1113, que es va jurar sobre l’altar de Sant Esteve d’Aravell en presència del jutge Pere Isarn.
En el testament del vescomte Pere de Castellbò, de l’any 1141, el castell de Sant Andreu, junt amb el d’Estamariu i Adraén, és deixat a la seva muller Sibil·la.
El 1185 Arnalda de Caboet rebé del seu segon marit Arnau de Castellbò el castell de Sant Andreu.
El 9 d’octubre de l’any 1380, Roger Bernat IV, vescomte de Castellbò, tal com ho havien fet els seus avantpassats, va prendre sota protecció i salvaguarda els habitants de Castelló.
A l’inici del segle XVI el lloc de Sant Andreu, a la vall de Castellbò, era jurisdicció de la reina i vescomtessa de Castellbò. La carlania de Sant Andreu, la tenia Janot Tragó.