La vila de Linyola, a 248 m d’altitud, és sobre una petita elevació al sector més alt del terme. L’indret fou conquerit al darrer quart del segle XI pel comte d’Urgell Ermengol IV, el qual l’any 1079 assignà per a la construcció del monestir de Gualter la meitat de les primícies de la quadra de Linyola. Poc abans de la conquesta de Lleida l’any 1149, Linyola esdevingué una de les defenses més meridionals del comtat d’Urgell i rebé llavors la categoria de castrum. El cartulari de Tavèrnoles conserva un document de l’any 1120 on l’esmentat comte confirmava uns béns en favor d’un fill d’Arnau Dalmau, que havia estat colonitzador de Linyola. L’any 1171 el comte Ermengol VII d’Urgell deixà la vila de Linyola, en la seva acta testamentària, al seu nebot Guillem, fill de Guillem de Sanmartí.
Durant el segle XIII la possessió de la senyoria de Linyola fou incerta; regnant Pere I (1210), Guerau de Cabrera s’apoderà de diversos llocs del comtat d’Urgell: Balaguer, Albesa, Agramunt i Linyola. El rei sortí en defensa del comte d’Urgell i recuperà els llocs. En morir Pere I a Muret l’any 1213, els Cabrera recuperaren el castell de Linyola. La situació de la possessió d’aquest castell restà estancada fins que el rei Jaume I recuperà la senyoria del comtat d’Urgell a petició de la comtessa Aurembiaix d’Urgell. A la mort d’aquesta, Jaume I hagué de lluitar contra Ponç de Cabrera, el qual reivindicava el comtat. L’any 1236 s’arribà a una concòrdia per la qual el monarca es reservava les ciutats de Lleida i Balaguer, mentre el dit Ponç de Cabrera tindria els castells de Linyola, Menàrguens i Albesa, entre altres. El 1259, per qüestions matrimonials, Jaume I volgué reduir Àlvar d’Urgell, fill de Ponç de Cabrera, i li reclamà, entre altres castells, el de Linyola. Aleshores, el nucli de Linyola, conjuntament amb el castell, es convertí en vila reial i es nomenà Arnau de Calaf com a batlle del rei. En sobrevenir la revolta nobiliària al comtat d’Urgell, el rei Pere cedí el castell i el lloc de Linyola en feu al comte Ermengol X d’Urgell, fill d’Àlvar d’Urgell.
L’any 1314 el rei Jaume II atorgà a l’infant Alfons, amb motiu de les noces d’aquest amb Teresa d’Entença, el comtat d’Urgell, en el qual s’incloïa la vila de Linyola. Posteriorment, quan Ferran d’Antequera liquidà el comtat d’Urgell, lliurà a Guerau Alemany de Cervelló, governador general de Catalunya, la vila de Linyola en franc alou. A partir de llavors, Linyola es convertí en el centre d’una baronia, la qual al segle XV passà als Cardona-Anglesola i el 1768 als Osorio de Moscoso, comtes d’Altamira.
L’any 1921 la baronia de Linyola fou rehabilitada i reconeguda com a títol del regne en favor de Luis Ruiz de Arana y Martín de Oliva, duc de Sanlúcar la Mayor.
En l’actualitat, l’edifici anomenat popularment el “castell” constitueix un palau renaixentista, bastit al segle XVII, segurament en el mateix solar on hi havia hagut l’antic castell medieval.