Situat a la dreta del Segre, damunt el turó testimoni anomenat puig de Gardeny (198 m alt.) —el material argilós del qual ha donat peu a una indústria de teuleria i de ceràmica que es remunta a l’època preromana—, que domina la partida de l’horta dita la Corda de Gardeny. A la fi de l’actual carrer Major hi havia, a les muralles, el portal de Gardeny davant l’assoc o mercat sarraí. El castell fou el centre de la comanda de Gardeny, dels templers, la més important de la regió, que comprenia nombroses possessions cedides a l’orde per Ramon Berenguer IV el 1149, com a compensació de l’ajuda rebuda a la conquesta de la ciutat, que perdurà fins el 1314; a l’extinció de l’orde Jaume II la cedí als hospitalers, que hi establiren un priorat, el qual perdurà fins el 1772. En època moderna fou convertit en un conjunt de casernes, i recentment ha estat restaurat. Resten l’església de Santa Maria i un gran casal rectangular i massís, de pedra, ornat per una petita filera de mènsules sota una cornisa a l’extrem superior. L’església, del tipus templer cistercenc, és també molt austera; es destaca el portal de mig punt, àmpliament adovellat i emmarcat per una corniseta; té un gran absis llis i volta apuntada; l’únic ornament són dos grans capitells de tipus corinti i l’obertura de l’arc triomfal.