La primera referència del topònim Savallà és de l’any 1043, quan surt esmentada la serra de Avellano com un dels límits territorials del castell de Conesa, en el document de cessió d’aquest castell que feren els comtes de Barcelona Ramon Berenguer I i la seva muller Elisabet a Bernat Sunifred i la seva esposa Amaltruda.
La història d’aquest castell es presenta confusa per l’esment en la documentació de diversos indrets de la comarca amb topònims semblants (Avella, Avellano, Avellan), la qual cosa fa difícil aclarir a quin castell hom s’està referint en cada cas. Per alguns autors, la referència més antiga d’aquest castell seria de l’any 1090, en què Bernat Oromir, Ponç Bernat, Ermessèn i Tarascó encomanaren el castell de Avella, dins el comtat de Barcelona, a Guillem Ramon. Aquest castell d’Avella també podria correspondre al castell de Savella (municipi de Conesa) o fins i tot a un altre castell situat prop de l’Espluga de Francolí.
A la darreria del segle XI el castell de Savallà es trobava en mans de la família Cervera. El 1093, Adalaida, muller d’Hug Dalmau de Cervera, en testar, el llegà al seu fill Ponç Hug.
Al llarg del segle XII els Cervera mantindran el seu domini sobre aquesta fortalesa. El 1172, en fer testament Ramon de Cervera, el llegà a la seva filla Elisenda, casada amb Berenguer d’Aguiló i al fill d’aquesta, Guillem. El 1196 Gombau d’Oluja pignorà les rendes de diversos castells entre els quals hi havia les del castell de Avellano a l’orde del Temple. Vinculada amb la família Cervera, vers la meitat del segle XII ja apareixen els primers membres de la nissaga cognominada Avellà o Savallà, castlans del castell. Vers el 1150 apareix un Arbert de Savallà com a testimoni en un document atorgat per Ramon de Cervera. Aquest Arbert es degué maridar amb Saurina vers aquesta data. Alguns anys més tard, el 1185, en testar, Arbert deixà tot el que ell posseïa en el lloc i terme de Savallà al seu nét Guillem.
Posteriorment, al llarg del segle XIII, tot i que desconeixem els mecanismes de la transmissió, aquest castell passà als Timor i d’aquests als Boixadors. Al segle XIV n’era la senyora Francesca de Timor, la qual es maridà primer amb Berenguer de Boixadors, i posteriorment, amb Gombau d’Anglesola. El 1380 l’infant Joan vengué la jurisdicció de Savallà, les Piles, Guialmons i Rubió a Bernat de Boixadors, fill de Francesca de Timor, senyor de Savallà.
A l’inici del segle XVI era castlà de Savallà Gaspar Desvalí, el qual juntament amb la seva família vengué la castlania al monestir de Santes Creus l’any 1509. Tot i això, el senyoriu eminent estava en poder dels Boixadors, els quals aconseguiren de Felip II el 1599 el títol nobiliari de comtes de Savallà. Al segle XIX el senyorejava el comte de Peralada.
La primitiva estructura del castell fou restaurada i reedificada en diverses ocasions. L’edifici actual, que domina el poble de Savallà del Comtat, potser encara conserva alguns vestigis antics, però essencialment és un castell bastit a la darreria del segle XV i al segle XVI, època en què fou habitat per la família Boixadors. Posteriorment, com que els Boixadors deixaren de residir-hi, començà el seu abandonament. Fou molt malmès durant les guerres carlines del segle XIX i en l’actualitat està en ruïnes.