Entre el 961 i el 988, el cartulari de Sant Miquel de Cuixà conté almenys onze escriptures de donació d’alous al territori de Torrelles (villa Torrelias, Torrilis, o Turrilias). Aquests alous consistien en masos, terres, horts, vinyes i salines, la possessió dels quals fou confirmada el 1011 per la butlla de Sergi IV. L’església d’Elna era igualment beneficiària, el 963, d’una important donació de part de l’arxipreste Amalric:el seu mas senyorial amb totes les seves dependències. Sant Genís de Fontanes hi posseïa també un alou el 981. Quant a l’abadia empordanesa de Sant Pere de Rodes, aquesta era propietària en la mateixa època de l’església de Sant Pere de Torrelles i de l’alou adjacent, els quals li foren successivament confirmats tant per les butlles dels papes Benet VI (974) i Joan XV (990), com per un precepte del rei Lotari el 982. A més, hom aprecia, cap al 1017 (butlla del papa Benet VIII) unes propietats del monestir de Sant Pere de Camprodon, amb vinyes i salines. Tanmateix, a Torrelles, com en altres llocs, el canvi lent, però progressiu, de la propietat tinguda en franc alou cap al sistema del feu fa aparèixer, almenys dins la segona meitat del segle XI, unes dinasties senyorials. La primera té per tronc Guitard Gausbert, espòs d’Adelaida, els quals donaren a Cuixà, el 1071, “l’església de Sant Pere amb les cases del seu voltant” i el seu alou, que consistia en horts, arbres fruiters i terres de farratge, a més de deu salines al lloc dit de Puig-oriol, tot encarregant-se d’assegurar-ne la “guàrdia” o protecció a favor de Sant Miquel. Aquesta donació implica que Sant Pere de Rodes s’havia desfet anteriorment de l’alou de Sant Pere de Torrelles. L’any 1085 Cuixà es beneficiava d’una nova donació per part de Bertran, fill dels precedents, i Arnau Bertran de Torrelles, que era possessor d’un important feu a la Cerdanya i al Conflent; aquest fou el primer a portar el patronímic de “Torrelles”, destinat a perpetuar-se fins al segle XVI. Hom no sap com la propietat de Sant Pere de Torrelles havia pogut passar, després del 990, de l’abadia de Sant Pere de Rodes, a les mans de Guitard Gausbert i dels seus. La família de Vernet gaudia igualment, almenys des del 1088, de drets de consenyoria a Torrelles, ja que hom veu Ermengol de Vernet, la seva esposa Ferrana i el seu fill Ponç, fer donacions o vendes a Sant Pere de Torrelles (i a Cuixà), en aquesta data i encara el 1112.
L’any 1198, els consenyors de Torrelles eren quatre: Ponç IV de Vernet, Ramon I de Castellrosselló, Ramon de Torrelles i el “prior d’Espirà” (de l’Aglí), els quals són autoritzats, en aquesta data, a construir “una fortalesa comuna” a Torrelles. Ramon de Castellrosselló tenia aleshores els seus drets obtinguts per la seva esposa Saurimonda de Peralada, vídua d’Ermengol II de Vernet i mare de Ponç IV, el dot de la qual era constituït essencialment pel castell de Peralada, situat fora de l’aglomeració de Torrelles. Saurimunda enviudà de Ramon de Castellrosselló cap al 1212 i es va casar, poc després, amb Arnau de Mosset. El procés d’Inquisició, iniciat a la mort de Ponç IV de Vernet, obligà finalment Ponç V a desfer-se el 1261, un any abans de la seva mort, de totes les seves senyories —entre les quals una part de Torrelles— a favor de Ponç Hug, comte d’Empúries, bescanviant-les per Cadaqués. El comte Hug, fill de Ponç Hug, va vendre poc després el castell de Torrelles per 50 000 sous melgoresos a l’infant Jaume, futur rei de Mallorca.
Sota Jaume II i Sanç, els altres castells i rèdits senyorials de Torrelles acabaren de caure sota domini reial, però foren infeudats després a diverses famílies i finalment incorporats al vescomtat de Canet pel rei Sanç l’any 1322.
El 1632, “el comte de Vallfogona”, és a dir, Joan de Pinós, vescomte de Canet, era senyor de Torrelles. A la vigília de la Revolució Francesa, el seu successor per via d’herència era el duc d’Híxar, igualment vescomte de Canet.