El poble de Sedó és a ponent del terme, vora la riba dreta del Sió. Conquerit a l’inici del segle XI pels comtes d’Urgell, l’existència d’una fortalesa a Sedó és provada des del 1024, any en què en un judici contra Guillem de Lavansa es fixà el terme de Guissona, el qual limitava a migdia amb la guardia de Sadaone; és probable que aquesta guàrdia de Sedó sigui la mateixa que l’esmentada com a “guardia que dicunt de Sudavo” en el document de donació de Calaf de l’any 1015. Segons l’acta de consagració de Santa Maria de la Seu d’Urgell de l’any 1040, el castell Sadaonis era considerat part integrant del terme més ampli del castell de Guissona, situat al comtat d’Urgell, i com a tal estava vinculat també a la canònica urgellesa.
Pocs anys més tard, el 1063, el bisbe Guillem d’Urgell i els canonges de Santa Maria de la Seu donaren en alou ipso castro de Sadao amb les seves esglésies construïdes i per construir, les primícies de la meitat dels delmes i d’altres drets, als esposos Pere Udalard i Ermengarda. El 1086, un tal Arnau Udalard permutà a la canònica de Santa Maria de la Seu l’alou que posseïa a Aiguatèbia per l’alou que aquesta tenia a la vall de Víllec i els drets dominicals que tenia “in kastro Sadaoni”.
Poc després, el 1099, el bisbe Ot d’Urgell empenyorà a Bernat Blidger i a la seva muller Remanga, per l’equivalent a dos-cents mancusos en caps de ramat, el domini que tenia sobre el castell de Sedó; els esmentats esposos retindrien el domini de la fortalesa fins que haguessin recuperat els diners.
Des de la darreria del segle XI consta l’existència d’una nissaga cognomenada Sedó, senyora del lloc, ben documentada al segle XII. El 1145 Pere Hug de Sedó infeudà a Bernat de Fonolleres el castell de Sedó, amb tots els drets que hi tenia. En aquest acord es reconeix que l’església d’Urgell rebia encara en el terme part dels delmes i dels drets jurisdiccionals. L’any 1173, en el testament sacramental de Guerau de Granyena, consta que deixava a la seva filla Beatriu el lloc de Sedó, i a més llegà el mas de Pere Borràs situat “in castro de Sadaon” al monestir de Poblet; aquest llegat testamentan fou confirmat el 1174 a l’esmentat cenobi per Saurina, vídua de Guerau de Granyena.
Les vicissituds del castell de Sedó són poc conegudes a partir d’aquest moment. Al segle XIII sembla que passà a domini reial. El 1379, Sedó, juntament amb el poble de Riber, entrava dins el veïnatge de Cervera. Al segle XVII consta que Sedó i Riber formaven una batllia reial.
A la part alta del poble de Sedó, vora l’església parroquial, es poden veure encara les escasses restes del seu antic castell.