El petit nucli de Pavia, situat uns 3 km al nord de Talavera, s’emplaça sobre un esperó que domina la vall de l’Ondara per ponent. Tot i que l’indret de Pavia fou conquerit vers mitjan segle XI, del seu antic castell han arribat a l’actualitat escasses notícies documentals d’època medieval, i totes ja tardanes. Consta que l’any 1243, en el testament atorgat per Serè de Montpalau, aquest personatge destinava el castell de Pavia per hipoteca dels diners que encara acreditava del dot de la seva filla Gueraula. Posteriorment a aquesta data, la documentació referent al castell de Pavia deixa entreveure que n’eren senyors els Aguiló, com també del de Talavera, els quals senyorejaren aquests indrets fins a la segona meitat del segle XIV, que passà per parentiu als So.
L’any 1360 el rei Pere III vengué a la muller de Bernat de So, ja difunt, i als seus descendents, el mer i mixt imperi i la jurisdicció civil i criminal dels castells i llocs de Talavera i Pavia, pel preu de mil florins. Successissavent foren senyors d’aquest poble els Burguès i de So o Burguès i Santcliment, i des del segle XVIII, per parentiu, passà als marquesos de Rubí fins a l’extinció dels senyorius a la dinovena centúria. (ABR)
Al cim de l’esperó on s’assenta la població de Pavia encara es conserva el nom de “el castell”. D’aquella antiga construcció no hi ha cap resta visible a excepció d’algunes pedres escampades per la superfície on devia estar originalment la fortalesa. En un tall realitzat modernament, en el pendent septentrional, es veuen alguns murets que poden correspondre a alguna construcció secundària i d’època tardana relacionada amb el castell. Amb tota seguretat, el testimoni avui visible de l’antiga fortificació de Pavia és un fossat semicircular que probablement defensava la banda meridional; actualment aquest fossat és ple de vegetació i té l’extrem oriental destruït a causa d’haver-s’hi bastit el dipòsit d’aigua de la població. Evidentment, la datació del fossat és força difícil, si bé podria correspondre a la primera fortificació construïda pels senyors feudals per tal de defensar aquest punt de la frontera al segle XI. (JRG-DRR-JIR-JMT)