El poble de Castell deu el seu nom segurament a una fortalesa, avui desapareguda, que era situada sobre un penyal que es dreça no gaire lluny de l’església de Sant Martí Vell. En documents del segle IX, de l’any 878, ja apareix el topònim Castelló per a referir-se al lloc, bé que no per a designar directament una fortificació. Tanmateix, l’etimologia del mot Castellono ofereix dubtes sobre l’existència d’un castell o recinte fortificat a l’indret, diferent al castell de Vernet que també es consigna per les mateixes dates i que cal situar a l’actual poble de Vernet, on encara hi ha vestigis del castell medieval. El topònim “Castell de Vernet” s’explica perquè el vilatge de Castell depengué fins al segle XVIII del terme de Vernet, successor de l’antic terme del castell de Vernet.