La vila de Tàrrega nasqué al voltant del seu castell, possiblement d’origen àrab, situat en un petit turó a la zona sud-oest de la ciutat, des d’on tenia una posició dominant sobre el conjunt urbà. Ara és en ruïnes i molt malmès.
El castell de Tàrrega fou conquerit pel comte Ramon Berenguer I de Barcelona, el qual l’any 1056 l’atorgà en esponsalici a la seva esposa, la comtessa Almodis. Dos anys més tard, el 1058, els mateixos comtes de Barcelona feren un conveni amb Ricard Altemir per ipso castro de Tarrega, segons el qual l’esmentat Ricard Altemir s’encarregaria de la reconstrucció i defensa de la fortalesa, com també de la castlania; aquest darrer, d’altra banda, jurà fidelitat al comte barceloní. Tanmateix, l’any 1069, Ramon Berenguer I i Almodis, mitjançant un altre conveni, encomanaren la castlania del castell de Tàrrega a Miró Riculf, perquè conjuntament amb Pere Udalard hi residissin, tinguessin un petit exèrcit de vint homes i poblessin el castell, sota la sobirania del comte. En aquell moment la fortalesa de Tàrrega constituïa un lloc avançat en la línia de frontera, al límit del comtat de Manresa o marca del comtat d’Osona.
Llegat en herència l’any 1076 pel comte Ramon Berenguer I al seu fill i successor Ramon Berenguer II, el castell de Tàrrega fou cedit a perpetuïtat per aquest darrer comte i la seva muller Mafalda l’any 1078 als germans Arnau i Guillem Guadall i als seus successors; segons l’escriptura de donació, els comtes donaren als esmentats germans la vila, el castell i el terme de Tàrrega amb tots els seus drets i les seves pertinences, amb la condició d’ajudar-los a defensar el camí que anava de la vila de Cervera a Anglesola.
Els castlans Des del segle XII el castell de Tàrrega tingué diversos castlans alhora, els quals tenien entre ells relacions de vassallatge amb jurament de fidelitat, tot formant una piràmide feudal ben definida. Aquests es dividiren les rendes de la castlania i abusaren sovint del seu poder en el cobrament de censos a la població. A la dotzena i tretzena centúria els titulars de la castlania, en primer lloc, eren els Pinós; per sota hi havia els Peramola, que posseïen també la castlania de Tàrrega com a vassalls dels Pinós. A la darreria del segle XIII els Peramola aconseguiren ampliar la seva porció de castlania amb la compra, l’any 1290, per part de Ramon de Peramola a Galceran de Santafè de la part que tenia aquesta darrera nissaga en els drets de la castlania, pel preu de 1 600 sous barcelonesos. Per sota dels Santafè cal esmentar els Torroja; a la darreria del segle XII era titular de la castlania Sibil·la de Santafè, esposa de Ramon de Torroja, la qual el 1196 féu donació a la seva filla Agneta de Torroja de la castlania de Tàrrega. El casament d’Agneta l’any 1217 amb Ramon Folc III de Cardona va fer que aquest s’integrés a la piràmide feudal de Tàrrega en un tercer esglaó. La castlania fou heretada per llur fill, Ramon Folc IV de Cardona, el qual el 1251 la vengué per 1 700 sous barcelonesos a Arnau Sort. Aquest, en el seu testament datat el 1262, disposà que la seva part de la castlania de Tàrrega fos venuda a Guerau d’Aguiló, senyor de Talavera, per 1 000 morabatins. Els Aguiló, com els altres castlans, no vivien a Tàrrega i tenien la castlania com a renda.
Dels Aguiló depenien els Granyena, una família amb importants possessions a la zona oriental d’Urgell des del segle XII i que, entre d’altres béns, cobraven també una part de les rendes de la castlania de Tàrrega. Vers mitjan segle XIII, quan morí Guerau de Granyena, no restà cap membre d’aquest llinatge que pogués reclamar la castlania, circumstància que fou aprofitada pel feudatari dels Granyena en el feu de Tàrrega, Guillem Rufaca, el qual aconseguí la castlania de Tàrrega. Els seus descendents encara consten com a castlans en les primeres dècades del segle XIV.
D’altra banda, els Oluja esdevingueren també castlans de Tàrrega a la segona meitat del segle XIII i juraren per tal càrrec fidelitat per indiviso als Aguiló i als Rufaca. Per sota dels Oluja hi havia els Anguera; Alglèsia, vídua de Pere d’Anguera, pel seu testament datat el 1263, la cedí al seu nebot Arnau de Montserrat, el qual l’any següent jurà fidelitat i homenatge a Berenguer d’Oluja. Vers la fi del segle XIII, Guerau de Clariana es casà amb la filla d’Arnau de Montserrat, i d’aquesta manera obtingué la castlania de Tàrrega, que continuà supeditada en l’homenatge als Oluja. Els Clariana eren de Castellvell de Cervelló, on seguiren residint, i tingueren la castlania de Tàrrega com una renda.
Entre els diferents castlans sorgiren de vegades algunes disputes i conflictes pel repartiment de les rendes i els censos que generava la castlania, però, malgrat tot, durant llargs períodes aconseguiren mantenir relacions cordials.
El castell de Tàrrega, l’evolució històrica del qual es confon amb la de la vila, va romandre sota el domini eminent de la monarquia tot i la fragmentació de poders i interessos que representaven els castlans. L’any 1242 el rei Jaume I atorgà els estatuts i costums pels quals s’havia de governar la vila, el castell i el terme de Tàrrega. Sota el govern del rei Pere III, a mitjan segle XIV, es portaren a terme obres de manteniment i restauració dels murs i valls del castell i de la vila, la qual patí les conseqüències dels successius conflictes bèl·lics que visqué el Principat.
L’Ajuntament de Tàrrega va comprar les ruïnes de l’antic castell l’any 1984.