El terme de Vilardell es troba esmentat per primera vegada el 998. El 1075 apareix el lloc i la vila anomenats de Vilardell.
El senyor d’aquest castell al segle XIII era Arnau de Sant Lleïr com a feudatari de Guilleuma de Montcada. El terme, als segles XIV i XV, era de 6 a 8 focs. El fet de tenir tan pocs focs provocà diverses agitacions per part del senyor de Montclús, que pretenia reduir aquest castell a quadra, la qual cosa s’esdevingué durant l’època moderna.
Als segles XV i XVI n’eren els senyors la família Soler, el quals emparentaren amb els Cahors de Perpinyà. Aquests el tingueren fins a final del segle XVII, que la propietat passà a la nissaga dels Delfau. Aquests el posseïren fins a l’extinció del seu llinatge al segle XVIII. Aleshores el comprà Domènec de Golorons i Déu. Lluís de Nadal i d’Artós fou el darrer d’aquesta família que en fou propietari.