Si bé és cert que ja l’any 839 l’acta de consagració de la Seu d’Urgell esmenta el lloc de “Pampano” i que l’any 959, amb vista a la seva repoblació i al seu conreu, el comte Borrell vengué a Sentelles, Manila, Berà i Roter unes cases i unes vinyes situades a la “villa de Pampano” i, més tard, el 1097, el comte d’Urgell Ermengol donà a Santa Maria de Solsona tots els drets i masos que tenia al lloc de “Pampano”, i que hi ha un Arnau de Pampa l’any 1186 i un Bernat de Pampe l’any 1222, hem d’esperar fins a l’any 1227 per tenir referència directa del castell. És en aquesta data que el comte d’Urgell Ponç donà a Bernat de Peramola i als seus el castell de “Pampane” i una colla de masos. (Vilaginés, Llor, el Soler, Corts, Sasserra) i altres cases, amb llurs habitants i drets senyorials. Avui les restes del castell es confonen entre les de la primitiva església de Santa Margarida i les de la casa senyorial, també abandonada.