Bé que el lloc de Pi és conegut des de mitjan segle X i n’hi ha notícies sovintejades al llarg dels segles XI i XII, el castell o força de Pi nasqué al final del segle XII. L’any 1194, l’abat del monestir de Sant Pere de Camprodon, senyor del lloc, concedí a Guillem, rector de Pi, i al seu germà Arnau, batlle, l’alou que posseïa en els límits de Sant Pau de Pi, al serrat de la Coramina, sobre l’església. Donà autorització a aquests homes per a instal·lar-hi una força o fortificació. El document afegeix que el rei Alfons I de Catalunya-Aragó havia donat aquesta fortia al monestir. Els dos germans es comprometien a rebre en aquesta força l’abat i els seus, com a senyors, a restituir-la a la primera reclamació i a complir totes les condicions usuals que contenien aquest tipus de pactes. L’abat establí, a més, que, si els dos homes construïen una cellera (cellaria) prop d’aquesta fortia, en tindrien la meitat dels censos anuals i dels plets que tinguessin lloc dins aquesta cellera, com a preu de la guarda d’aquesta fortia. L’abat retingué l’altra meitat d’aquests censos i drets. Aquest document és molt interessant perquè pressuposa la construcció d’una cellera al costat d’una fortalesa i no d’una església, com era el cas corrent. L’abat, en aquest cas, senyalà una repartició entre ell i els dos germans a qui havia confiat la guarda de la fortalesa dels censos i els drets jurisdiccionals, meitat per meitat.
L’any 1370, el senyor de Pi, Pere sa Riba de Puigcerdà, reconegué que tenia com a feu per al rei d’Aragó la vila i la vall de Pi í el seu vilatge (villare), com també els homes i les dones que hi habitaven i llurs infants, nascuts o per néixer. L’esmentat villare probablement és el raval anomenat el Veïnat, que és força lluny del poble de Pi, al nord-est, al peu de la cresta on es trobava el castell, del qual sembla que en constituí l’habitatge subordinat on foren reagrupats els qui tenien una estreta dependència del castlà.
El plànol cadastral del segle XIX fa aparèixer al lloc anomenat “el Castell” una parcel·la de forma poligonal, que deu ser la que ocupava antigament el castell. La disposició de les parcel·les al voltant revela l’emplaçament dels antics fossats. Aquesta parcel·la es troba al cim d’una cresta que baixa cap a la petita vall de Pi i domina des d’una mica més d’un centenar de metres el poble situat al sud. És un cas molt interessant de fortificació desapareguda l’existència de la qual, suposada a través dels textos, és confirmada per l’estudi de la parcel·lació. En el cadastre apareix el nom del camí que va “de Pi al castell”.