El poble de Padèrn és situat a la riba dreta del Verdoble, prop de la seva confluència amb el Torgan. L’origen de l’actual vila de Padèrn cal relacionar-lo amb la construcció al segle XII d’un castell o fortificació al cim de la cresta rocallosa sota la qual s’estén la població. Tanmateix, en un moment anterior a l’esmentada centúria, el nucli originari de Padèrn, format a partir d’una església dedicada a sant Pere, era situat a la riba esquerra del Verdoble. Aquesta església, citada en la documentació l’any 805, formava part del patrimoni de l’abadia de Santa Maria de la Grassa per donació comtal i probablement era emplaçada a l’interior del cementiri del poble actual, ubicat precisament a la riba esquerra del Verdoble.
Aquest nucli originari de Padèrn correspondria, segurament, a l’alou de Paternum citat el 1024, any en què un grup de cavallers renuncià a totes les possessions que havien usurpat al monestir benedictí de la Grassa. L’any 1108, Bernat, senyor de Perapertusa, restituí al mateix establiment monàstic certs drets que havia acaparat injustament a Padèrn. Fou probablement en el transcurs del segle XII, moment en què es bastí el castell de Padèrn, com ja s’ha dit, que els habitants del nucli originari format a partir de l’església de Sant Pèire es desplaçaren a viure vora el castell, abandonant del tot el poble primitiu. És difícil saber si la construcció del castell de Padèrn es degué als abats de la Grassa o a un senyor laic, però el cas fou que passat el temps s’havia format al voltant del castell el nou nucli de Padèrn, el precedent de l’actual.
Amb l’arribada en aquestes contrades, al segle XIII, d’un gran nombre de nobles del nord de França per a participar en la croada contra els càtars, els problemes entre els abats de la Grassa i els esmentats nobles per les contínues usurpacions patrimonials que aquests inflingien al monestir de la Grassa foren constants. D’aquí que durant la primera meitat de la tretzena centúria es fessin nombroses escriptures de convinences o pactes entre algunes famílies nobles, com els Termes, i els abats de la Grassa, per tal de frenar les sovintejades extorsions patrimonials. L’any 1248, Lluís IX, rei de França, trameté al seu senescal de Carcassona una carta per la qual li manava que fossin retornats els castells de Padèrn i Molhet a l’abat de Santa Maria de la Grassa, els quals eren en mans del cavaller faidit Chabèrt de Barbairan. Un darrer esment d’aquest castell és de l’any 1285, en què en una escriptura apareix el castrum de Paderno.
Les ruïnes de l’actual castell no evidencien cap element constructiu d’època medieval, ja que fou totalment reconstruït al segle XVII per un senyor local.