La primera notícia històrica sobre aquest castell és de l’any 1061, en fer testament Pere Miró de Ponts, senyor o castlà de Puigverd. Pere Miró determinà que, un cop morta la seva muller Sicarda, aquest castell passés a llur fill Arnau, juntament amb els de Ponts, Solsona, Agramunt, Almenara i Oliola. En el cas que Arnau morís sense fills legítims aquests castells passarien al seu altre fill Bernat. Si tant Bernat com Arnau morien sense fills legítims, després de la mort de la seva dona Sicarda, els castells es repartirien de la manera següent: el seu germà Ramon es quedaria els castells de Ponts, Oliola, Agramunt i Almenara; el seu germà Guillem tindria els castells de Solsona, Clariana i Castellons de Pallars, i el feu de Joval; Mir Mir es quedaria amb el castell de Puigverd, i la seva filla Guisla esdevindria senyora del castell de Bajona. En el cas que la seva muller Sicarda es tornés a casar tindria dret a conservar fins a la seva mort només els castells de Puigverd i Bajona i la quarta part de la parròquia d’Oliola.
L’herència de Pere Miró de Ponts anà a parar al seu fill Bernat, conegut com a Bernat Pere, àlies Vidià, el testament sacramental del qual es jurà el 1119 a l’església de Sant Pere de Ponts. Entre altres béns, deixà al seu fill [Pere de Puigverd] els castells de Ponts, Agramunt, Oliola, Puigverd, Bajona, Almenara, Solsona i Castellons Sobirans i Jussans. En aquesta època el llinatge devia residir habitualment al castell de Puigverd, del qual prengué el nom (alguns dels seus membres també porten el nom Ponts). Pere de Puigverd, senyor o castlà de Puigverd i de nombrosos castells de l’Urgell, el Solsonès i la Conca de Barberà, participà en la conquesta de Lleida i acompanyà el comte Ramon Berenguer IV en l’expedició de Lorca. Féu testament el 1164 I deixà el castell de Puigverd al seu fill Pere. Si aquest moria sense descendència legítima, el castell de Puigverd passaria a Elixén i els seus fills.
El llinatge dels Puigverd conservà el domini sobre el castell homònim fins al segle XIV. Després passà a altres senyors. El 1468 era de Pere de Queralt-Perellós I a la vetlla de la desaparició de les senyories jurisdiccionals era del marquès de Barberà.
Actualment al capdamunt del turó on s’assenta el poble hi ha un casal senyorial d’època tardana, successor de l’antiga fortalesa medieval.