El poble de Talavera s’aixeca a la part occidental del terme municipal, a 791 m d’altitud, en el pendent d’una muntanya coronada per l’antic castell, a la capçalera del riu d’Ondara. El castell de Talavera és esmentat en la documentació el 1075, quan consta que era situat dins el comtat d’Osona. Al segle XII eren senyors d’aquesta fortalesa els Cervelló; així, en el testament sacramental de Guerau Alemany (III) de Cervelló s’indica que llegà el castro de Talavera al seu fill Guillem, el qual participà en l’expedició d’Almeria l’any 1147. Un altre membre de la mateixa nissaga, dit també Guerau Alemany (V), llegava l’any 1193 el castrum de Talavera al seu nebot Guillem d’Aguiló. A partir d’aquest moment el llinatge dels Aguiló senyorejà el lloc i el castell de Talavera fins a la segona meitat del segle XIV, que passà per parentiu a la família So. Foren originaris d’aquest indret una família cognomenada Talavera, documentada des del segle XII, alguns membres de la qual tingueren la castlania de la fortalesa.
De l’any 1360 es té notícia que el rei Pere III va vendre a la muller de Bernat de So, ja difunt, i als seus successors, el mer i mixt imperi i les jurisdiccions civil i criminal sobre els castells de Talavera i Pavia pel preu de mil florins.
La família So i els seus descendents, emparentats amb els Burguès i els Santcliment, tingueren la potestat sobre els llocs de Talavera i Pavia fins al segle XVIII, que per casament passaren a ser dels marquesos de Rubí, fins a l’abolició dels senyorius jurisdiccionals al segle XIX. (ABR)
Al capdamunt del poble de Talavera, sobre les restes de la vella fortalesa medieval, hi ha actualment un gran casal. Del primitiu castell ha restat una estructura de planta rectangular a l’est, coberta amb volta apuntada, que sembla una cisterna, encara que també podria haver tingut altres finalitats. Però probablement el més espectacular és un pany de muralla, de base atalussada i de carreus petits, lligats amb morter, que correspon al tancament occidental de la fotificació; té una forma angular per tal d’adaptar-se a la primitiva topografia, avui molt desfigurada, i que amb tota probabilitat tenia originalment un fossat que devia completar la defensa per aquest sector ponentí, d’accés més fàcil. Actualment, aquest pany de mur es troba dins el cobert de l’esmentat casal, el qual aprofita estructures del castell medieval. Les restes avui conservades són difícils de datar, si bé no semblen correspondre a la primera fase de la fortalesa sinó més aviat a l’ampliació realitzada als segles baixmedievals o postmedievals. (JRG-DRR-JIR-JMT)