Probablement l’origen del Soler sigui una vil·la romana; de fet és el que hom pot deduir de la seva denominació primitiva, Pallaganum, esmentada el 876, dins una carta per la qual Ermemir, Teòdila i Todemar donaven el seu heretatge al monestir de Sant Andreu d’Eixalada. Una carta del cartulari d’Elna, del 17 de juliol del 877, es refereix a la venda d’un molí amb el seu rec, “in villa Pallagiano”, sobre la riba de la Tet, amb la seva presa d’aigua “in villa Campillano” (Campollanes, a llevant del Soler), feta per un Unoviu a Sunyer i a la seva esposa Virgília. D’altra banda, el 29 d’abril del 959, Ratfred i la seva esposa Riquilda donaren a Santa Eulàlia d’Elna el seu alou “in villa Palleiano”. La denominació del Soler apareix per primera vegada el 977, com a límit de la vila de Baó: “ipso Solario de Orzone”, és a dir “El soler d’Orzon”. El terme solarium, soler, designava una terrassa (aquí, la riba espadada de la Tet), i Orzó o Orzon era el nom d’un personatge, del qual donen la clau cartes posteriors. L’acta de la donació de Baó a Cuixà pel comte de Cerdanya, Òliba Cabreta i la comtessa Ermengarda (15 de febrer del 988) esmenta com a límit meridional de l’alou: “el territori d’Orla i de Santa Eugènia, al soler del vescomte Oruç” (“ad ipsum Soler de Orucic vicecomite”. Per bé que aquesta denominació sigui recordada molt més tard dins l’acta de consagració de l’església de Baó el 1149, sembla que aquí ens trobem davant un dels primers vescomtes de Rosselló coneguts, la seu del qual era, sota el comte Gausfred I, el castell del Soler. Durant el segle XI i fins al final del segle XII, els vescomtes de Rosselló són els de Tatzó, sense que hom sàpiga si tingueren algun lligam de parentiu amb aquell vescomte Oruç, Auruç o Auruço, el qual el 968 s’intitulava Rosolionensis vicecomes. Sigui com vulgui, els seus descendents conservaren probablement la senyoria del Soler als segles XI i XII. Un Pere Ferran del Soler fou ardiaca d’Elna des del 1145 fins al 1162. Un Pere del Soler és esmentat el 1186. L’any 1213, Guillem Jordà del Soler era al seu torn ardiaca d’Elna. El 30 de març de 1223 cedia al bisbe d’Elna, Arnau de Serrallonga, els drets hipotecaris que tenia sobre el castell del Soler a favor dels hereus del seu germà Ferran, probablement senyor del Soler abans del 1203. El mateix Guillem Jordà cedí definitivament al bisbe d’Elna, Ramon II, el castell del Soler l’any 1226.
No obstant això, Pere de Fenollet, vescomte d’Illa (t 1423) posseïa uns drets de justícia sobre el Soler al segle XV, drets que heretà la reina Margarida de Prades, vídua del rei Martí. Venuts el 1426 a Ramon de Perellós, els foren confirmats el 1428 per Alfons V. L’essencial de la senyoria pertanyia, però, pel que sembla, als bisbes d’Elna.
L’any 1534, el bisbe Jaume Ric infeudà a Jaume la Torra el castell ja mig arruïnat del Soler, i hom veu el 1619 el bisbe Rafel Rifós prendre’n possessió. El bisbe d’Elna és esmentat com a senyor del Soler per Peguera el 1632, però el 1770 figuren com a consenyors el bisbe d’Elna i Josep d’Oms.
Les restes del castell del Soler, que fou vast i potent, però que ja estava en ruïnes el 1534, han acabat d’esfondrar-se aquest segle al fons de la Tet, com a conseqüència de l’erosió intensa de la terrassa argilosa sobre la qual era construït. Recordem haver vist, fa uns vint anys, les restes d’una gran torre rodona, avui desapareguda.