La fortalesa d’Agramunt, avui desapareguda, ocupava el capdamunt d’un tossal conegut encara com a tossal del Castell, situat a la banda de ponent del nucli antic de la població.
El castell d’Agramunt fou bastit o reconstruït a mitjan segle XI, en el moment en què el comte Ermengol III conquerí la vila i el terme i els incorporà al comtat d’Urgell. Aquest castell fou una possessió tradicional dels comtes d’Urgell, que el conservaren fins a la fi del comtat, a l’inici del segle XV. La primera referència a aquesta fortalesa és de l’any 1051, en què el comte Ermengol III concedí el castell d’Agramunt a Pere Miró de Ponts, que n’havia de ser el castlà en canvi de la quarta part dels delmes i la meitat de les primícies. En el testament de Pere Miró del 1061 aquest establí que, una vegada morta la seva esposa Sicarda, el castell d’Agramunt, juntament amb altres castells, passés al seu fill Arnau. Si aquest moria sense fills legítims, el castell seria per al seu altre fill, Bernat, germà d’Arnau. En cas que tant Arnau com Bernat morissin sense fills legítims, una vegada morta la seva esposa Sicarda, passaria al seu germà Ramon.
El castell d’Agramunt era una de les residències on feien sovint estada els comtes d’Urgell en aquests anys anteriors a la conquesta de Balaguer i Lleida. Ho prova el fet que el 20 de juny de 1100 els comtes Ermengol V i la seva esposa Maria, en presència d’Artau, comte de Pallars, de Ramon Miró, vescomte d’Urgell, i d’altres bons homes --entre els quals Berenguer Ramon de Puigverd, Ramon Gombau de Ribelles i Pere Arnau de Montferrer-- congregats al castell d’Agramunt, restituïssin a l’església de Santa Maria de la Seu el castell de Carcolze. El 1117 el comte Ermengol VI donà en feu a Bernat Pere de Ponts, anomenat Vidià, i a la seva muller Beatriu el seu estatge als castells de Ponts i d’Agramunt, que ja tenien en feu del comte, amb la condició que el comte o els seus successors hi podrien fer estada sempre que volguessin avisant amb dos dies d’antelació. El testament sacramental de Bernat Pere de Ponts es jurà el 1119 i s’hi establia que els seus drets sobre el terme i el castell d’Agramunt passessin al seu fill [Pere de Puigverd].
Anys després, Pere de Puigverd, fill de Bernat Pere de Ponts, en el seu testament datat el 1164, llegà al seu fill Pere, entre altres honors, Agramunt, Ponts, Puigverd i Oliola.
En el testament del 1167 el comte Ermengol VII llegà al seu fill Ermengol el castell d’Agramunt juntament amb molts d’altres que estaven sota el seu domini. Aquest mateix comte havia atorgat a la vila d’Agramunt una carta de poblament i franqueses pocs anys abans, el 1163. Entre els signants d’aquest document hi ha Arnau de Rialb, castlà d’Agramunt, Pere de Puigverd, Guillem de Ponts, Guillem de Puigverd i Arnau de Ponts, també castlans o feudataris del comte a Agramunt. Un document del 1172 parla ja d’unes cases situades a la vila vella d’Agramunt, al barri del Castell.
El castell d’Agramunt tingué una funció important en les lluites que enfrontaren el rei Jaume I als Cabrera per la successió del comtat d’Urgell. El 1236 Jaume I concedí en feu el castell i la vila d’Agramunt a Ponç de Cabrera, comte d’Urgell, que d’aquesta manera esdevenia senyor d’Agramunt. En el seu testament del 1243, Berenguer de Puigverd apareix com a senyor (en realitat castlà) d’Agramunt.
El 1413 la vila i el castell d’Agramunt capitularen davant les forces de Ferran d’Antequera i a partir de llavors passaren a domini reial.
El castell fou enderrocat a mitjan segle XVII i les seves pedres aprofitades per a altres construccions, entre les quals la capella dels Socors del temple parroquial de Santa Maria.