El castell de Cotlliure és situat arran de mar, entre la vila i el raval, a la dreta de la desembocadura de la ribera del Dui.
El castell de Cotlliure, de probable origen romà, és esmentat per Julià de Toledo en ocasió de l’expedició del rei Vamba a Septimània l’any 673 (castrum Caucoliberi).
Des dels temps carolingis, Cotlliure i el seu castell, vista llur importància, foren posseïts directament pels comtes de Rosselló í, seguidament, per llurs successors, els comtes de Barcelona. No obstant això, durant el govern del comte Gausfred III (1121-64) apareix una família de cavallers o castlans dita de Cotlliure (Berenguer i Ponç de Cotlliure, el 1145 i el 1157).
Els reis d’Aragó i de Mallorca sempre es preocuparen de mantenir el castell i les altres fortificacions secundàries de Cotlliure, primer port marítim del Rosselló. Maria de Montpeller, que es casà (juny del 1204) amb Pere I de Catalunya-Aragó, feu del castell de Cotlliure el seu sojorn predilecte. Aquí nasqué, a l’octubre del 1205, el seu primer infant, Sança, la qual morí de petita. Aquí també tingué lloc, el mateix any, la famosa baralla entre la reina i el rei Pere, el qual l’obligà a fer-li cessió de la vila i senyoria de Montpeller.
El castell fou en la seva major part reconstruït al segle XIII: Nunó Sanç devia iniciar les obres el 1242, les quals foren prosseguides per Jaume I el Conqueridor a partir del 1272, i per Jaume II de Mallorca, l’any 1280. Pere el Cerimoniós va fer unes obres importants els anys 1345 i 1347.
El castell de Cotlliure és, avui dia, una notable fortalesa resultat de múltiples reformes, especialment importants als segles XVI i XVII, en convertir-se en una plaça forta essencial durant les contínues guerres entre la monarquia francesa i l’espanyola. Actualment, la part medieval del castell correspon, bàsicament, als segles XIII i XIV.
Al nord, al voltant d’un pati central, hi havia la capella de Santa Maria Magdalena; a l’est, la Sala, avui transformada en terrassa, que comunica amb una torre principal de base quadrada; al migdia hi ha una sala dita “la cambra de la reina” que comunica també amb una altra torre quadrada, a l’angle sud-oest; a ponent, una paret on s’obria la porta principal, separava el castell de la Vila Vella de Cotlliure.