Aquesta torre o castell és en realitat un gran desconegut, tot i que la seva primera referència és de l’any 956. Era inclòs dins el terme del castell d’Olèrdola, tal com constaten diversos documents del segle XI. En una de les afrontacions de la torre Dela de l’any 1066 apareix esmentat precisament Castellmós. Hom pensa que aquest topònim ha de tenir l’origen en un nom personal, potser en el de la persona que el feu aixecar. Tenia una capella dedicada a sant Jaume, avui desapareguda com el castell. La localització d’ambdues construccions és problemàtica. Hom creu que es trobaven a la muntanya de Sant Jaume i a prop de la masia de la Torreta. D’altres autors situen el castell i la capella a Sant Pau, a la vora de la Clota.