L’actual església parroquial de Banyuls té els seus precedents en una altra església del mateix titular esmentada per primera vegada l’any 1091. L’església era situada aleshores a la riba meridional de l’estany que separava Banyuls de Sant Joan la Cella, en l’indret on hi havia el poble primitiu, al terme avui anomenat Vila Vella, un sector del qual rep el nom de Sant Andreu en record de l’emplaçament de l’església primitiva. Probablement al segle XIV, en tot cas abans del 1411, el poble es traslladà al cim d’un turó pròxim per raons de defensa i potser també de salubritat. L’actual església parroquial, també dedicada a sant Andreu, fou edificada entre el 1424 i el 1427 pels canonges del priorat veí de Santa Maria de Fontclara, destruït per un aiguat del Tec, en una part del castell de Banyuls cedida pel senyor Joan II de Banyuls.