Tot i que documentat tardanament —la primera referència és del 1361— sembla que el seu origen és anterior al 1300. El castell podria trobar-se en la mota situada a ponent del poble vers Millars. Només unes excavacions arqueològiques, però, permetrien aclarir tal suposició.
Com Sant Feliu d’Amunt, Sant Feliu d’Avall fou una possessió dels vescomtes de Castellnou. Ambdós Sant Feliu continuaren pertanyent als vescomtes de Castellnou —sense perjudici dels drets diversos dels seus cosins, els vescomtes de Fenollet — fins a la mort, el 1321, del darrer vescomte de Castellnou, Jaspert V, deutor d’una suma de 8 000 lliures a Pere VII de Fenollet, segon vescomte d’Illa. Per cobrir aquest deute, el rei Sanç ordenà, entre altres coses, la venda dels castells de Sant Feliu d’Amunt i d’Avall, els quals esdevingueren propietat de Pere VIII de Fenollet, net de Pere VII (1423). Constança de Pròixida, vídua de Francesc de Perellós i segona esposa de Pere VIII, heretà aleshores els dos Sant Feliu i els cedí a la filla que havia tingut del seu primer marit, Francesc de Perellós, dita Violant. Aquesta, anomenada “la Nina de Perellós”, llegaria els rèdits de les dues senyories a Antoni Pinya, burgès de Perpinyà. Violant, en morir, deixà un fill bastard, conegut amb el nom de Francesc Burguès —més tard legitimat per Alfons V—, i aquest, a la mort de Pere Pinya (probablement el seu pare), heretà la baronia de Sant Feliu, la qual conservaren els seus descendents, procuradors de Mallorca, de pares a fills: Gregori Burgués, el seu fill (†1505); Joan i Gregori II (†1553), nets seus; Caterina Burgués, filla de Gregori II, l’aportà al seu espòs Joan de Boixadors (†1576). El fill d’aquests, Joan II de Boixadors la llegà al seu fill Bernat el 1585, la filla del qual, Maria de Boixadors, l’aportà com a dot al seu espòs Francesc de Rocabertí, senyor de Pau, Bellera i les Abelles. Dídac de Rocabertí, el seu fill, el succeí el 1643 i morí el 1650. Antoni de Rocabertí, fill de Dídac, la vengué el 1666 a Francesc de Ros, a favor del qual els dos Sant Feliu foren erigits en comtat per Lluís XIV (abril del 1680). Francesc de Ros morí el 1698, i deixà el comtat al seu fill Francesc II (1703). De Joan de Ros (†1714), fill del precedent, el comtat de Sant Feliu passà a Antoni de Ros (†1792), fill de Joan, i finalment a Enriqueta, la seva filla, esposa del seu oncle Abdó Senén de Ros, els quals emigraren poc després.