A la primeria del segle XI sembla que s’havia construït el castell d’Albinyana, en un territori que anteriorment havia estat concedit pel comte de Barcelona al vescomte Guitard. El seu fill Adalbert heretà aquell territori encara fronterer i aprisià el lloc, que encara era erm i despoblat. Després reconstruí el castell i posseí el seu extens terme. Adalbert morí en la famosa expedició a Còrdova de l’any 1010. Pel seu testament sacramental, que juraren els seus marmessors, es disposava la cessió del castell i del terme d’Albinyana al monestir de Sant Cugat del Vallès. Immediatament els familiars d’Adalbert pledejaren contra el monestir per la possessió del lloc, que no recuperaren. Malgrat aquesta ocupació incial, la colonització del territori no s’efectuà fins uns quants anys més tard, vers el 1040, any en què l’abat de Sant Cugat hi establí Bernat Otger, amb l’obligació de reconstruir el castell i de fer-hi una torre. Els fills de Bernat Otger, el 1088, donaven el castell a Ponç Guillem i Berenguer Bernat. En aquest moment es trobava destruït i solitari perquè era del tot inhabitable i no hi havia gent per a treballar les terres. Això no obstant, el castell va ser confirmat com a possessió del monestir de Sant Cugat del Vallès, amb la seva església, per la butlla del papa Urbà II, del 1098, i en altres posteriors. El 1180 el castell d’Albinyana era retingut injustament per Pere d’Estella.
Del castell d’Albinyana no ha restat cap vestigi i el seu possible emplaçament és controvertit. Per la confirmació papal del 1098 que esmenta el castellum de Albiniana cum sua ecclesia cal creure que castell i església devien ser junts, o molt propers, probablement al lloc que ocupa actualment el poble. Altres estudiosos creuen que el castell devia ser en un turó proper a la capella de Sant Antoni.